Недавно в "Поиске" было напечатано интервью с проректором Московского государственного университета им. М.В.Ломоносова, председателем Совета по науке при Минобрнауки РФ, членом Научно-координационного совета ФАНО академиком Алексеем Хохловым ("У зеркала", № 11, 2017). Он ответил на вопросы, связанные с появлением на сайте ФАНО публикационных рейтингов академических институтов, в создании которых академик принимал непосредственное участие. В редакцию поступил отклик заведующего лабораторией Института физиологии растений РАН, профессора Георгия Романова с критикой предложенных показателей оценки научных организаций РАН. Предлагаем его вниманию читателей вместе с комментарием А.Хохлова.

Георгий Романов:

В ответ на опубликованное в "Поиске" толкование составленных ФАНО индикативных рейтингов публикационной активности институтов хочу изложить свое видение этого вопроса. Напомню, публикационные показатели представлены в девяти колонках таблицы, причем каждый столбец дает свой вариант ранжирования институтов. В качестве основного критерия выступает число статей, индексируемых в базе данных Web of Science (WoS) - как суммарно для института, так и в расчете на одного исследователя. 

На мой взгляд, такой способ оценки выглядит неубедительно. Необходимо отдавать себе отчет в том, что научные журналы, включенные в WoS, вовсе не равноценны. Например, российские "Доклады Академии наук" не эквивалентны американским Proceedings of the National Academy of Sciences. Это подтверждают импакт-факторы журналов: у российского он равняется 0,3-0,4, а у американского - около 10. Поэтому для адекватной оценки сравнительной эффективности научных институтов должен быть учтен рейтинг журнала, где опубликована статья. Для этого надо брать в расчет не просто количество статей, а сумму импакт-факторов журналов в WoS, а еще лучше - в Scopus. Эта база принимает в расчет все ссылки, а не только за два года, как WoS, поэтому она более совершенна. 

При этом желательно учитывать вклад авторов данного института в публикацию. Сделать это не сложно, взяв за основу очередность институтов в размещенном под статьей списке. Если оцениваемый институт единственный или находится на первом месте списка, то он получает полные баллы. Если институт расположен на втором месте - 0,75 от полной оценки, а если на третьем и ниже - 0,5. Такая коррекция оценки должна быть сделана как для самой статьи, так и для цитирований на нее. 

Вызывает удивление, что авторы разработки ограничились представлением данных в расчете на одного исследователя. Допустим, в одном институте сотрудник пишет в среднем одну статью в год, а в другом сходного профиля - две статьи. Вопрос: какой институт эффективнее? Если исходить из логики составителей таблицы - безусловно, второй. А если иметь в виду интересы государства, налогоплательщиков, да и просто руководствоваться здравым смыслом, то надо сначала выяснить, в какую сумму обходится одна усредненная статья в каждом из институтов. Если, например, первый институт тратит на одну статью 100 тысяч рублей в год, а второй на аналогичную публикацию - миллион рублей, эффективность первого института в разы выше, несмотря на меньшее количество публикаций. Поэтому надо делить достижения института (общий импакт-фактор статей и общее число цитирований) не на число сотрудников, а на сумму израсходованных институтом денежных средств. 

Собрать сведения в бухгалтериях о годовых бюджетах институтов не составляет труда. Может, правда, возникнуть вопрос, брать ли в расчет только бюджетные средства, или приплюсовать к ним внебюджетные (средства грантов, хоздоговоров и другие). В каждом из этих вариантов есть свои плюсы и минусы, поэтому их стоит использовать в комплексе. 

Таким образом, в результате предлагаемых преобразований оценка эффективности институтов станет более точной и простой. Вместо нынешних девяти колонок останутся две: первая - количество научного знания (в единицах импакт-факторов) и вторая - число цитирований, все - в расчете на затраченный рубль. Те институты, у которых эти показатели будут наибольшими, являются лидерами в своей референтной группе. Для наглядности можно использовать обратные величины, а именно стоимость (в рублях) единицы импакт-фактора и одной полученной ссылки. В этом случае, наоборот, в лидеры выйдут институты с наименьшими показателями. Важно понимать, что сравнивать по этим показателям можно только институты близкого профиля, со сходной экспериментальной базой. 

Дополнительно хотелось бы предложить ФАНО по возможности оградить институты от технической работы по сбору сведений для ранжирования, ведь агентство было создано, как сообщалось, для того, чтобы ученые занимались наукой и не отвлекались на посторонние дела. Все сведения о цитируемости институтов мог бы легко собрать любой сотрудник ФАНО или Минобрнауки, способный работать в Интернете. 

Аналогичные сведения по цитированию, кстати, регулярно обновляются на общедоступном сайте scientific.ru, созданном много лет назад по инициативе самих исследователей. 

Алексей Хохлов:

Согласен с Георгием Романовым в том, что при оценке качества работы института необходимо учитывать разные факторы. Добавлю только - ни один из них не стоит абсолютизировать. 

Собственно, на этом подходе основан утвержденный приказом Министерства образования и науки РФ порядок предоставления научными организациями сведений о результатах своей деятельности в целях мониторинга и оценки. В список входят 25 показателей. Учредитель научных организаций (в данном случае ФАНО) должен для всех референтных групп специальностей разработать на основе методических документов свою внутреннюю систему оценки с использованием наиболее подходящих в каждом случае параметров. 

В число 25 утвержденных показателей результативности входит совокупный импакт-фактор журналов, где опубликованы статьи сотрудников организации, о необходимости учета которого пишет Г.Романов. Есть соответствующий раздел и в обсуждаемых нами таблицах индикативных рейтингов академических институтов, опубликованных ФАНО

Таким образом, величины, которые характеризуют средние рейтинги публикаций каждого института, подсчитаны, но как их учитывать при оценке - это отдельный вопрос. Существует мнение, что приписывать статье определенный "вес" в соответствии с импакт-фактором журнала, в котором она напечатана, не всегда правильно. Выбор, повторюсь, будет делать ведомственная комиссия по оценке институтов для каждой референтной группы. 

В любом случае учет импакт-фактора - это операция следующего уровня сложности, она может быть проведена после того, как подсчитано число статей. Нельзя сделать второй шаг, не сделав первый. Это же утверждение относится и ко второму предложению Г.Романова - учитывать вклад в публикацию конкретных авторов. 

В МГУ при вычислении персональных рейтингов сотрудников так делается. При этом способ учета вклада различен для разных областей науки и специальностей. Одни факультеты при вычислении доли ученого в данной статье делят публикацию на число соавторов, а другие - на корень из этого числа. 

В принципе можно приводить публикационные параметры и к величинам финансирования, как предлагает Г.Романов. В новом мировом рейтинге университетов, который сейчас обсуждается, такой показатель, возможно, будет введен. Однако у этого подхода немало критиков. Понятно, что исследования, связанные с экспериментами, значительно более затратны, чем теоретические изыскания. Значит ли это, что, действуя "в интересах государства и налогоплательщиков", надо закрыть все экспериментальные работы? 

В принципе, мне кажется полезным при оценке институтов учитывать финансовые показатели. Но не стоит связывать деньги с количеством опубликованных статей. 

Вряд ли нужно учитывать базовое финансирование, которое зависит от исторически сложившейся численности организации. Значительно более информативный показатель - сумма средств, заработанных по грантам и договорам. Она характеризует активность сотрудников и значимость проводимых ими исследований.

Что касается порядка сбора сведений для ранжирования, то, насколько мне известно, институты этим специально не занимались. Исходные данные были взяты ФАНО в Федеральной системе мониторинга результативности деятельности научных организаций (sciencemon.ru). Однако некоторые приведенные там цифры явно не соответствовали действительности. У ряда институтов было по сотне статей в год на сотрудника. Чтобы получить корректные цифры, федеральному агентству пришлось уточнять информацию, возможно, путем дополнительных запросов к представившим некорректные данные организациям. 

Составленные ФАНО таблицы, как я говорил в интервью, всего лишь зеркало, поставленное перед институтами. Как им воспользоваться - дело каждого. Можно устранить отразившиеся в зеркале недостатки, а можно его разбить, чтобы не портить себе настроение.

Источники

Что отражает зеркало?
Поиск (poisknews.ru), 14/04/2017

Похожие новости

  • 26/09/2019

    Закон о реформе РАН: процесс уничтожения продолжается...

    Шесть лет назад, 27 сентября 2013 года, был подписан федеральный закон «О Российской академии наук, реорганизации государственных академий наук...». Сегодня мы подводим печальные итоги процесса уничтожения РАН, который, увы, продолжается.
    773
  • 25/10/2019

    О последствиях новых подходов к организации контактов с зарубежными учеными

    ​Приказ Минобрнауки о регламентации контактов российских ученых с иностранцами может подорвать реализацию крупных государственных программ: «программы 5/100», направленной на наращивание потенциала российских университетов, и программы мегагрантов.
    510
  • 24/04/2019

    Задачи нацпроекта «Наука» можно выполнить благодаря усилиям РАН и Минобрнауки

    ​Задачи, поставленные в национальном проекте "Наука", можно решить благодаря слаженной совместной работе Российской академии наук (РАН) и Министерства науки и высшего образования (Минобрануки) РФ, сообщил глава Минобрнауки Михаил Котюков на общем собрании РАН.
    645
  • 20/08/2019

    Минобрнауки высказало замечания к работе более 320 диссертационных советов

    ​Свыше 320 диссертационных советов из 1781 не достигли в 2018 году установленных дорожной картой критериев, главное замечание - низкое число опубликованных научных статей членами диссертационных советов.
    474
  • 15/07/2019

    Ученые надеются на оживление жилищных программ

    ​На состоявшемся недавно в Долгопрудном совещании по развитию кадрового потенциала в сфере науки с участием председателя правительства обсуждались в том числе жилищные проблемы научной молодежи. Из выступления Дмитрия Медведева оптимисты сделали вывод, что власть готова содействовать ученым в решении квартирного вопроса.
    432
  • 16/02/2019

    Михаил Котюков: задачи нацпроекта «Наука» сложны и амбициозны

    Участники Российского инвестиционного форума в Сочи ежегодно обсуждают самые актуальные темы не только в российской экономике, но и в науке. О том, реалистичны ли цели национального проекта "Наука", можно ли привлечь молодежь в науку и насколько политика мешает международному научному сотрудничеству, в интервью ТАСС на форуме рассказал министр науки и высшего образования России Михаил Котюков.
    759
  • 13/02/2019

    Михаил Котюков: Россия на старте технологического прорыва

    ​Сколько ученых не хватает нашей науке? Может ли студент прожить на стипендию? Как поженить науку и бизнес? Будет ли в аспирантуре обязательная защита диссертации? Об этом и многом другом на "Деловом завтраке" в "РГ" рассказал министр науки и высшего образования РФ Михаил Котюков.
    866
  • 22/10/2018

    Григорий Трубников: российской науке дан колоссальный кредит доверия

    Правительство планирует запустить новый национальный проект «Наука», на который предусмотрено выделить около 500 млрд рублей. О целях и задачах в эфире ОРТ рассказал первый заместитель министра высшего образования и науки РФ Григорий Трубников.
    816
  • 20/06/2018

    Григорий Трубников: лаборатории получат средства в течение июля

    В правительстве определились с первым заместителем министра науки и высшего образования. Им стал экс-заместитель прежнего министра образования и науки Григорий Трубников. Премьер-министр РФ Дмитрий Медведев подписал 18 июня соответствующее распоряжение.
    1212
  • 24/08/2016

    Минобрнауки могут разделить: кто теперь будет управлять учеными?

    ​20 августа, стало известно, что Министерство образования и науки РФ может быть разделено на два ведомства. Об этом сообщили СМИ со ссылкой на источники в научно-образовательной сфере.  Днем ранее президент Владимир Путин уволил главу Минобрнауки Дмитрия Ливанова, занимавшего пост с 2012 года.
    3136