​Недавно президент РАН сделал публичное признание [1] в том, в чем многие из нас не сомневались уже давно. «Коллеги, это прискорбно, но по числу мусорных публикаций Россия лидирует в мире», — сообщил он и обосновал печальный вывод низкой долей российских публикаций в журналах «первого квартиля» WoS. Дискутировал он с г-ном министром науки, ратовавшим на том же заседании за дальнейшее увеличение числа публикаций.

Можно ли о качестве научных публикаций судить по отнесению их к «квартилям»? Нет, нельзя. Все формальные показатели не без греха, но «квартили» особенно лукавы. Их используют якобы для того, чтобы учесть специфику разных научных направлений. Но направления эти определяют по классификатору Web of Science (WoS), неизменному на протяжении десятилетий и страдающему сильно разной подробностью в разных разделах. По сути, это классификатор журналов, многие из которых имеют крайне расплывчатые тематические границы. Абсурдно его использовать при оценке отдельных научных статей, и про все эти несуразности мы неоднократно писали ранее [2, 3], когда «квартили» еще не были в ходу. За последние годы накопилось много примеров неадекватно заниженной оценки работ, относящихся к узким и редким научным направлениям, поскольку в классификаторе WoS эти направления попадают в какие-то нижние уровни или вовсе отсутствуют. И тогда малые профильные журналы (иногда весьма качественные, но имеющие узкую группу читателей) попадают в одну группу с крупными журналами, ориентированными на гораздо бо́льшую научную аудиторию. «Квартиль» у них получается далеко не первый. Так можно уникальных специалистов списать в мусор, что, впрочем, для российских начальников дело привычное.

Однако с утверждением г-на президента о том, что мусора стало сильно больше, мы согласны. К его массовому производству прямо и повсеместно толкает система оценки людей, коллективов, проектов, а главное диссертаций. Действующие научные работники систематически, почти ежедневно, получают почтой коммерческие предложения приблизительно следующего рода: «поможем опубликовать в журнале, входящем в список ВАК <иногда — в Scopus>, любую чушь за ваши деньги». Именно этот нехитрый «бизнес» ведет к радикальному росту объема того мусора, о коем говорил г-н президент, а отвечает за его существование непосредственно ВАК (и Министерство науки и высшего образования, коему ВАК подчинен). «Элитная» часть этого мусорного потока производится значительным количеством российских журналов из числа недавно подключенных к WoS при помощи RSCI (Российский индекс научного цитирования) — об этом феномене, замеченном при обновлении списков цитирования [4], мы уже сообщали в заметке [5].

Разумеется, мусор следует убирать регулярно и аккуратно, и мы рады, что на этом ответственном участке работает мощная бригада «Диссернета». Однако мирового лидерства, о котором толковал г-н министр [1], от одной лишь уборки мусора не случится. Кто-то должен производить достойную научную продукцию, добывать жемчуг. Даже на замусоренной территории дееспособные научные коллективы всё еще умудряются это делать. Это не всегда замечают государственные фонды и министерство, поскольку крайне сомнительно качество того, что называется у них научной экспертизой (обсуждение этой темы можно найти, например, здесь [6]).

И мы считаем нужным говорить не столько о мусоре, сколько о жемчуге и его добытчиках.

Если нацпроект «Наука», о котором поминал г-н министр [1], рассматривать в традиционном понимании науки как деятельности для получения новых знаний, то главной задачей этого проекта надо считать поддержку всех специалистов, способных работать на «мировом уровне», и создание условий для того, чтобы они также и воспитывали новые научные кадры.

Решает ли эту задачу давно уже принятая правительством РФ стратегия «точечных» вливаний в виде мегагрантов [7] и крупных грантов РНФ [8]?

С сугубо управленческой точки зрения куда проще выбрать очень малую долю ученых, назначить их «самыми крупными», дать им относительно много денег, и… ждать результатов по развитию науки в РФ. В самом ли деле этот подход чем-то обоснован?

Мы предлагаем реалистичный способ первичной оценки ситуации, основанный на цитировании недавно опубликованных работ российских ученых. В этом качестве мы используем ниже семилетний показатель СI7 (см. комментарий на странице [4]). Это лучше «квартилей», если взять на себя труд разобраться в классификации науки и сравнивать в рамках действительно одних и тех же направлений. Ниже обсудим для примера некоторые сравнения только для трех очень крупных направлений, хотя «на будущее» у нас собран материал и для многих других научных направлений, в том числе малых и трудно поддающихся какой-либо статистической обработке.

Наша цель — на конкретных примерах выяснить, являются ли держатели крупнейших госгрантов наиболее продуктивными в РФ учеными.

Итак, примеры. Мы собрали данные по числу статей в WoS за последние 7 лет и их цитированию для 152 руководителей мегагрантов [7] и 167 сравнимых по объему финансирования проектов РНФ «Проведение исследований научными лабораториями мирового уровня…» [8]. Около 40% этих проектов можно уверенно отнести к материаловедению (mater-sci), физике конденсированного состояния (cond-mat) и молекулярной биологии (mol-bio), см. таблицу 1. Данные по зарубежным руководителям проектов сейчас не рассматриваются, так как мы обсуждаем здесь только российский научный ресурс.

Таблица 1. Общие сведения о числе крупных грантов по обсуждаемым направлениям


Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

15

19

28

Руководители:

— зарубежные

— диаспора

— работающие в РФ

.

6

5

4

.

6

11

2

.

8

14

6

Число «больших» грантов РНФ

13

19

37

Руководители:

— зарубежные

— диаспора

— работающие в РФ

.

0

0

13

.

1

1

17

.

0

2

35

Получавшие и «большой» грант РНФ, и мегагрант

1

2

4

В качестве контрольных групп ученых мы рассматривали работающих в РФ специалистов тех же крупных направлений, имеющих наиболее высокое активное цитирование, но не получавших указанных выше крупных грантов. В «первой сотне» по CI7 держатели крупных грантов составляют очевидное меньшинство (таблица 2). Попытаемся понять, действительно ли остальные коллеги из «первой сотни» дают принципиально меньший вклад в количественные и качественные характеристики публикационной активности?

Таблица 2. «Топ-группы» работающих в РФ по СI7 (цитирование работ, опубликованных в последние 7 лет) — первая сотня


Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

4

3

4

Число «больших» грантов РНФ

<РНФ+мегагрант>

9

<1>

7

<1>

17

<2>

Остальные — контрольные группы

88

91

81

Число реферируемых в WoS статей (таблица 3) как у держателей крупных грантов, так и в контрольных группах различается в очень широких пределах (иногда достигая 15 статей в год, что кажется уже превосходящим все пределы разумного). Две средние колонки таблицы 3 приводят численность авторов, имеющих более 70 или менее 70 публикаций за 7 лет по каждой из исследованных подгрупп. Как видно из таблицы 3, нет значимых различий между «особо финансируемыми» учеными и контрольными группами по всем трем изученным направлениям исследований.

Еще более нас сейчас интересует не количество публикаций, а их качество. Для очень приблизительной его оценки ниже мы сравниваем типичное среднее (т. е. среднее геометрическое) количество ссылок на работы авторов из каждой изучаемой группы. Выбор в пользу анализа типичного среднего значения вместо обычного среднего арифметического сделан нами для сглаживания эффектов от единичных сильных флуктуаций (в малых подгруппах совсем сгладить не удается). Конкретно мы находили отношение числа ссылок на работы последних 7 лет (CI7) к общему числу (M7) этих статей, опубликованных каждым из авторов, входящих в исследуемые подгруппы. Затем вычисляли среднее геометрическое значение Q отношений ­q=CI7/M7 для каждой из групп: Q = (Πi=1…N qi)1/N. Значения параметра Q для каждой из групп приведены в правой колонке таблицы 3.

Разумеется, выбранный нами параметр Q характеризует не собственно качество научных публикаций, а скорее их востребованность на кратком временном интервале, однако некоторая корреляция между этими параметрами, несомненно, существует. Чтобы выяснить, сколько тут жемчуга, а сколько более рутинной продукции, требуется экспертный анализ. Но на этом предварительном этапе мы не обнаруживаем существенных различий между «финансово выделенными» учеными и гораздо более широкой «контрольной группой».

Кстати, в контрольной группе по cond-mat имеется 7 бывших лауреатов фонда «Династия», и еще двое таких лауреатов в контрольной группе по mater-sci. Их «Династия» в последние годы, к сожалению, уже никак не могла поддержать — а научную продукцию они, однако, всё еще производят.

Таблица 3. Число статей, реферируемых WoS, за последние 7 лет, и среднее цитирование одной статьи за последние 7 лет. Сравнение для держателей крупных грантов и «топ-групп» работающих в РФ, см. пояснения в тексте


>70

70

Q

Мегагранты, диаспора

Mater-sci (5)

Cond-mat (11)

Mol-bio (14)

.

5

8

6

.

.

3

8

.

25*

14

16

Мегагранты, работающие

в РФ

Mater-sci (4)

Cond-mat (2)

Mol-bio (6)

.

4

1

2

.

.

1

4

.

13*

9

12,5

«Большие» гранты РНФ

3)

Cond-mat (18)

Mol-bio (37)

.

10

14

22

.

3

4

15

.

8,5

7

7,5

в РФ

Mater-sci (88)

Cond-mat (91)

Mol-bio (81)

.

48

55

31

.

40

36

50

.

10

11,5

16

*завышено из-за единичных флуктуаций

Выводы из нашего небольшого исследования таковы.

В стране имеется как минимум в 5−10 раз больше производителей заметного количества вовсе не мусорной научной продукции, чем держателей крупных грантов (на самом деле их, конечно, еще больше — как в трех выбранных для примера крупных областях, так и в других).

Пока бессмысленно ждать от начальства изучения вопроса, каков реальный кадровый ресурс российской науки. Нужно в инициативном порядке, используя грамотную классификацию научных областей, анализировать наукометрические данные и формулировать задачи для экспертной оценки.

Именно поэтому в рамках проекта «Корпус экспертов» мы уже двенадцатый год продолжаем расширять списки цитирования [4], обновлять данные и бороться за максимально точное определение специализаций работающих в науке коллег. Смотрите, пожалуйста, внимательно эти списки, они выводятся сейчас по кодам научного рубрикатора. Будем признательны за исправления и комментарии. Можно писать через личные окна (открываются нажатием на фамилию) или по адресу corr.lists@gmail.com.

В ближайшее время мы планируем серию публикаций по данным, извлекаемым из базы «Корпуса экспертов». В первую очередь попытаемся показать, какие именно научные области еще имеют в РФ достойное представительство и где именно (города, институты) они локализованы.

Михаил Фейгельман, Галина Цирлина

  1. vedomosti.ru/opinion/articles/2019/04/24/800 011-rossiya-liderom-musornim
  2. ufn.ru/tribune/trib160512.pdf
  3. expertcorps.ru/static/cms/Bibliometric_excitement.pdf
  4. expertcorps.ru/science/whoiswho
  5. trv-science.ru/2019/01/29/bronya-krepka/
  6. trv-science.ru/2017/10/10/esli-by-direktorom-byl-ya/
  7. p220.ru
  8. rscf.ru

Источники

По следам дискуссий на Общем собрании РАН
Троицкий вариант (trv-science.ru), 08/05/2019

Похожие новости

  • 02/02/2017

    Российской науке не хватает ресурсов и новизны

    Только 7% российских научных проектов соответствуют мировому уровню, а многие и вовсе не представляют научной новизны — такие данные выявила всесторонняя экспертиза, проведенная в 2016 году под руководством экспертного совета РАН.
    2429
  • 09/02/2019

    Зампредседателя профсоюза работников РАН — о провалах и успехах майских указов в науке

    ​На что не хватает денег российским ученым, для кого рост зарплат оказался съеден инфляцией и стоит ли ожидать роста числа научных публикаций, в день российской науки «Газете.Ru» рассказал Евгений Онищенко, зампредседателя профсоюза работников РАН, научный сотрудник Физического института им.
    516
  • 02/08/2016

    О том, как ученые ищут финансирование

    ​В июне "Экспир" провел опрос пользователей о поиске финансирования научно-технических проектов. Около 500 респондентов рассказали где и как они ищут финансирование, на что обращают внимание в первую очередь и какими источниками информации пользуются.
    1761
  • 16/09/2016

    Как привлечь финансирование: мнение экспертов

    ​Редакция STRF.ru организовала дискуссию по вопросам поиска и привлечения финансирования научных, научно-технических и инновационных проектов. В обсуждении приняли участие представители научных организаций, университетов, высокотехнологичных компаний, институтов развития.
    4447
  • 03/06/2019

    Александр Хлунов: государственному заданию необходима серьезная экспертиза

    По мнению генерального директора Российского научного фонда Александра Витальевича Хлунова, экспертиза при утверждении государственного задания для научных организаций России должна быть такой же тщательной, как экспертиза в РНФ.
    557
  • 13/02/2018

    Внимание чиновников к исследованиям ученых оборачивается лишь усилением бюрократического пресса

    ​Президент РФ Владимир Путин рассказал о планах по заманиванию обратно в Россию наиболее успешных ученых-россиян. Избранный в сентябре 2017 года новый президент Российской академии наук Александр Сергеев энергично взялся за дело (в минувшем январе оба президента встретились и остались довольны друг другом).
    1605
  • 30/01/2017

    Ученые РАН о сокращении и «распиле» средств на науку

    ​В пятницу стало известно, что Минобрнауки планирует сократить на 26,6 млрд рублей финансирование по федеральной целевой программе "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России".
    2613
  • 14/07/2016

    По мнению ученых, об итогах реформы говорить рано

    ​Три года назад была объявлена реформа трех академий. Представляя реформу РАН, министр Дмитрий Ливанов обещал, что ученые, работающие в академических институтах, не почувствуют реформы Академии. "Важно дать возможность ученым заниматься прежде всего наукой и исследованиями и избавить их от несвойственных функций управления имуществом и коммунальным хозяйством", - отмечал Дмитрий Медведев 27 июня 2013 года.
    2452
  • 27/02/2017

    Иван Звягин: персональная медицина будет слишком дорогой для людей

    ​Научный сотрудник Института биоорганической химии РАН Иван Звягин рассказал о том, какие проблемы стоят на пути "наук о жизни" в России и коммерциализации их результатов, почему персональная медицина пока остается мечтой и о том, почему медицинские стартапы нередко проваливаются.
    1623
  • 28/03/2018

    Из жизни академических экосистем

    ​Систему институтов и организаций РАН можно представить себе в виде сложной структуры со множеством горизонтальных и вертикальных внутренних и внешних связей, испытывающих воздействие внешних стимулов.
    740