Недавно в "Поиске" было напечатано интервью с проректором Московского государственного университета им. М.В.Ломоносова, председателем Совета по науке при Минобрнауки РФ, членом Научно-координационного совета ФАНО академиком Алексеем Хохловым ("У зеркала", № 11, 2017). Он ответил на вопросы, связанные с появлением на сайте ФАНО публикационных рейтингов академических институтов, в создании которых академик принимал непосредственное участие. В редакцию поступил отклик заведующего лабораторией Института физиологии растений РАН, профессора Георгия Романова с критикой предложенных показателей оценки научных организаций РАН. Предлагаем его вниманию читателей вместе с комментарием А.Хохлова.

Георгий Романов:

В ответ на опубликованное в "Поиске" толкование составленных ФАНО индикативных рейтингов публикационной активности институтов хочу изложить свое видение этого вопроса. Напомню, публикационные показатели представлены в девяти колонках таблицы, причем каждый столбец дает свой вариант ранжирования институтов. В качестве основного критерия выступает число статей, индексируемых в базе данных Web of Science (WoS) - как суммарно для института, так и в расчете на одного исследователя. 

На мой взгляд, такой способ оценки выглядит неубедительно. Необходимо отдавать себе отчет в том, что научные журналы, включенные в WoS, вовсе не равноценны. Например, российские "Доклады Академии наук" не эквивалентны американским Proceedings of the National Academy of Sciences. Это подтверждают импакт-факторы журналов: у российского он равняется 0,3-0,4, а у американского - около 10. Поэтому для адекватной оценки сравнительной эффективности научных институтов должен быть учтен рейтинг журнала, где опубликована статья. Для этого надо брать в расчет не просто количество статей, а сумму импакт-факторов журналов в WoS, а еще лучше - в Scopus. Эта база принимает в расчет все ссылки, а не только за два года, как WoS, поэтому она более совершенна. 

При этом желательно учитывать вклад авторов данного института в публикацию. Сделать это не сложно, взяв за основу очередность институтов в размещенном под статьей списке. Если оцениваемый институт единственный или находится на первом месте списка, то он получает полные баллы. Если институт расположен на втором месте - 0,75 от полной оценки, а если на третьем и ниже - 0,5. Такая коррекция оценки должна быть сделана как для самой статьи, так и для цитирований на нее. 

Вызывает удивление, что авторы разработки ограничились представлением данных в расчете на одного исследователя. Допустим, в одном институте сотрудник пишет в среднем одну статью в год, а в другом сходного профиля - две статьи. Вопрос: какой институт эффективнее? Если исходить из логики составителей таблицы - безусловно, второй. А если иметь в виду интересы государства, налогоплательщиков, да и просто руководствоваться здравым смыслом, то надо сначала выяснить, в какую сумму обходится одна усредненная статья в каждом из институтов. Если, например, первый институт тратит на одну статью 100 тысяч рублей в год, а второй на аналогичную публикацию - миллион рублей, эффективность первого института в разы выше, несмотря на меньшее количество публикаций. Поэтому надо делить достижения института (общий импакт-фактор статей и общее число цитирований) не на число сотрудников, а на сумму израсходованных институтом денежных средств. 

Собрать сведения в бухгалтериях о годовых бюджетах институтов не составляет труда. Может, правда, возникнуть вопрос, брать ли в расчет только бюджетные средства, или приплюсовать к ним внебюджетные (средства грантов, хоздоговоров и другие). В каждом из этих вариантов есть свои плюсы и минусы, поэтому их стоит использовать в комплексе. 

Таким образом, в результате предлагаемых преобразований оценка эффективности институтов станет более точной и простой. Вместо нынешних девяти колонок останутся две: первая - количество научного знания (в единицах импакт-факторов) и вторая - число цитирований, все - в расчете на затраченный рубль. Те институты, у которых эти показатели будут наибольшими, являются лидерами в своей референтной группе. Для наглядности можно использовать обратные величины, а именно стоимость (в рублях) единицы импакт-фактора и одной полученной ссылки. В этом случае, наоборот, в лидеры выйдут институты с наименьшими показателями. Важно понимать, что сравнивать по этим показателям можно только институты близкого профиля, со сходной экспериментальной базой. 

Дополнительно хотелось бы предложить ФАНО по возможности оградить институты от технической работы по сбору сведений для ранжирования, ведь агентство было создано, как сообщалось, для того, чтобы ученые занимались наукой и не отвлекались на посторонние дела. Все сведения о цитируемости институтов мог бы легко собрать любой сотрудник ФАНО или Минобрнауки, способный работать в Интернете. 

Аналогичные сведения по цитированию, кстати, регулярно обновляются на общедоступном сайте scientific.ru, созданном много лет назад по инициативе самих исследователей. 

Алексей Хохлов:

Согласен с Георгием Романовым в том, что при оценке качества работы института необходимо учитывать разные факторы. Добавлю только - ни один из них не стоит абсолютизировать. 

Собственно, на этом подходе основан утвержденный приказом Министерства образования и науки РФ порядок предоставления научными организациями сведений о результатах своей деятельности в целях мониторинга и оценки. В список входят 25 показателей. Учредитель научных организаций (в данном случае ФАНО) должен для всех референтных групп специальностей разработать на основе методических документов свою внутреннюю систему оценки с использованием наиболее подходящих в каждом случае параметров. 

В число 25 утвержденных показателей результативности входит совокупный импакт-фактор журналов, где опубликованы статьи сотрудников организации, о необходимости учета которого пишет Г.Романов. Есть соответствующий раздел и в обсуждаемых нами таблицах индикативных рейтингов академических институтов, опубликованных ФАНО

Таким образом, величины, которые характеризуют средние рейтинги публикаций каждого института, подсчитаны, но как их учитывать при оценке - это отдельный вопрос. Существует мнение, что приписывать статье определенный "вес" в соответствии с импакт-фактором журнала, в котором она напечатана, не всегда правильно. Выбор, повторюсь, будет делать ведомственная комиссия по оценке институтов для каждой референтной группы. 

В любом случае учет импакт-фактора - это операция следующего уровня сложности, она может быть проведена после того, как подсчитано число статей. Нельзя сделать второй шаг, не сделав первый. Это же утверждение относится и ко второму предложению Г.Романова - учитывать вклад в публикацию конкретных авторов. 

В МГУ при вычислении персональных рейтингов сотрудников так делается. При этом способ учета вклада различен для разных областей науки и специальностей. Одни факультеты при вычислении доли ученого в данной статье делят публикацию на число соавторов, а другие - на корень из этого числа. 

В принципе можно приводить публикационные параметры и к величинам финансирования, как предлагает Г.Романов. В новом мировом рейтинге университетов, который сейчас обсуждается, такой показатель, возможно, будет введен. Однако у этого подхода немало критиков. Понятно, что исследования, связанные с экспериментами, значительно более затратны, чем теоретические изыскания. Значит ли это, что, действуя "в интересах государства и налогоплательщиков", надо закрыть все экспериментальные работы? 

В принципе, мне кажется полезным при оценке институтов учитывать финансовые показатели. Но не стоит связывать деньги с количеством опубликованных статей. 

Вряд ли нужно учитывать базовое финансирование, которое зависит от исторически сложившейся численности организации. Значительно более информативный показатель - сумма средств, заработанных по грантам и договорам. Она характеризует активность сотрудников и значимость проводимых ими исследований.

Что касается порядка сбора сведений для ранжирования, то, насколько мне известно, институты этим специально не занимались. Исходные данные были взяты ФАНО в Федеральной системе мониторинга результативности деятельности научных организаций (sciencemon.ru). Однако некоторые приведенные там цифры явно не соответствовали действительности. У ряда институтов было по сотне статей в год на сотрудника. Чтобы получить корректные цифры, федеральному агентству пришлось уточнять информацию, возможно, путем дополнительных запросов к представившим некорректные данные организациям. 

Составленные ФАНО таблицы, как я говорил в интервью, всего лишь зеркало, поставленное перед институтами. Как им воспользоваться - дело каждого. Можно устранить отразившиеся в зеркале недостатки, а можно его разбить, чтобы не портить себе настроение.

Источники

Что отражает зеркало?
Поиск (poisknews.ru), 14/04/2017

Похожие новости

  • 25/07/2016

    Академики раскритиковали Стратегию научного развития России

    ​Минобрнауки подготовило проект Стратегии научно-технологического развития России на долгосрочный период, которая богато сдобрена иностранными терминами. Что же касается смысла и четких посылов, которые должна иметь такая Стратегия, их, увы, большинство представителей научного мира так и не увидели.
    707
  • 03/12/2015

    Вузы наращивают научный потенциал

    ​Вузы вот уже несколько лет производят больше научных публикаций, чем НИИ, а также привлекают к работе новые кадры, заявил глава Минобрнауки РФ Дмитрий Ливанов. По его словам, институты Российской Академии Наук уступили лидерство вузовскому сектору в развитии науки и новых технологий.
    622
  • 14/02/2017

    Лучшим молодым ученым нарисовали перспективу

    ​Состоялось первое в 2017 году заседание Совета по науке при Министерстве образования и науки РФ, в котором приняла участие министр Ольга Васильева. По просьбе “Поиска” председатель Совета, проректор Московского государственного университета им.
    306
  • 06/02/2017

    Владимир Иванов: Академия дорожит единым научным пространством

    ​На Общем собрании Российской академии наук, которое состоится в марте текущего года, будут подведены итоги трехлетнего периода реформирования академического сектора науки и намечены дальнейшие шаги по развитию академии.
    302
  • 11/01/2016

    Академик Георгий Георгиев: Что губит российскую науку и как с этим бороться. Часть II

    ​Представлено окончание статьи академика РАН Георгия Павловича Георгиева, одного из создателей молекулярной биологии и молекулярной генетики высших организмов, основателя и научного руководителя Института биологии гена РАН, лауреата Госпремий СССР и РФ.
    537
  • 01/02/2017

    Академик Михаил Пальцев: институты РАН все еще выдают результаты мирового уровня

    ​Впервые проведена экспертиза российской науки. Из 5000 представленных на экспертизу в 2016 году научных проектов 368 соответствуют мировому уровню. Это только один из выводов о состоянии российской науки.
    396
  • 27/07/2016

    Алексей Яблоков: в российской науке происходит катастрофа

    ​В российской науке происходят катастрофические изменения, считает советник РАН, доктор биологических наук Алексей Яблоков. Как сообщил ученый, он поставил свою подпись под резонансным открытым письмом академиков, членов-корреспондентов и профессоров РАН президенту РФ.
    621
  • 06/06/2017

    На Петербургском международном экономическом форуме рассказали о науке

    ​Какие разрывы нужно преодолеть российской науке, что важнее - открытия отдельных ученых или научных групп, что мешает бизнесу воспринимать многие идеи современных ученых? Об этом и многом другом представители науки, власти и бизнеса рассказали на сессии ""Большие вызовы" - стимул для развития науки" Петербургского международного экономического форума 2017.
    134
  • 08/09/2016

    Нужно ли России высшее образование?

    ​На преподавателей, профессоров, студентов, их родителей, предпринимателей, значительную часть российского общества, имеющую отношение к высшему образованию (а таких у нас более 50 миллионов), большое впечатление произвело недавнее заявление Ольги Голодец.
    358
  • 24/08/2016

    Минобрнауки могут разделить: кто теперь будет управлять учеными?

    ​20 августа, стало известно, что Министерство образования и науки РФ может быть разделено на два ведомства. Об этом сообщили СМИ со ссылкой на источники в научно-образовательной сфере.  Днем ранее президент Владимир Путин уволил главу Минобрнауки Дмитрия Ливанова, занимавшего пост с 2012 года.
    1052