Известный астроном и создатель Астрофизической информационной системы (ADS) NASA Майкл Курц опубликовал на портале препринтов ArXiv небольшую статью, в которой приводит практические советы по использованию наукометрических показателей при принятии кадровых решений (Indicator.Ru перевел статью Курца). О том, насколько грамотно такие показатели применяют в России, в каких случаях и с какими ограничениями их нужно использовать и что хорошего принесло их повсеместное использование, рассказали директор Наукометрического центра НИУ ВШЭ Иван Стерлигов и начальник управления научных исследований СПбГУ Ольга Москалева.

«Это все очевидные вещи, но, к сожалению, они часто совершенно не принимаются во внимание»

Наукометрические показатели используются на самых разных уровнях: и для того, чтобы обозначить приоритеты развития науки целой страны, и оценки работы отдельных ученых. На высшем уровне они появились, например, в майских указах Владимира Путина. О выполнении некоторых пунктов, в том числе увеличении доли статей рссийских ученых до 2,44%, правительство РФ отчиталось весной этого года. Используется наукометрия и для того, чтобы принимать решение о судьбе научных центров и вузов: хоть и с ограничениями, она входит в систему оценки научных организаций, которую в этом году проводит Федеральное агентство научных организаций (ФАНО).

На уровне отдельных сотрудников с системой оценки, которая основывается на числе публикаций, сталкиваются в основном преподаватели вузов и сотрудники научных институтов. «Для них это, как правило, облекается в две формы: или, скажем так, кнут, то есть аттестация, когда все обязаны достигать каких-то показателей, или стимулирующие надбавки, пряник, когда доплаты назначаются в соответствии с тем, сколько публикаций выпустили сотрудники», – рассказал Иван Стерлигов.

По словам эксперта, степень «примитивности» методов такой оценки сильно различается в зависимости от организации. Самый распространенный показатель – простое количество публикаций, которые входят в базы данных Web of Science или Scopus. Некоторые институты стараются учитывать и качество публикаций, принимая во внимание импакт-фактор журналов. Немногие организации при этом делают поправку на научную область, в которой проводилось исследование: один и тот же импакт-фактор означает совсем разный уровень журналов в разных предметных областях, а для каких-то (прежде всего социальных и гуманитарных) наук этот показатель вообще плохо применим.

Импакт-фактор — показатель, отражающий частоту цитирования статей научного журнала за трехлетний период. Например, для одного из самых крупных медицинских журналов The Lancet импакт-фактор составляет 44,0, а в среднем для хороших журналов он составляет 4.

Indicator.Ru, Справка

То, насколько уместно использовать наукометрию при оценке работы преподавателей (в том числе в системах эффективных контрактов), зависит и от их положения и обязанностей. По мнению Ольги Москалевой, лучше всего они подходят для преподавателей специальности: «Если это преподаватель английского языка не для филологов, а для математиков, географов, физиков, то здесь публикации вообще ни при чем, ему совершенно не надо быть большим ученым, чтобы уметь хорошо учить студентов английскому языку». С другой стороны, нужно учитывать и нагрузку сотрудника: в отличие от преподавателей многих западных университетов, у которых выделено время на научные исследования, российские педагоги часто не имеют возможности заниматься наукой и получать результаты, которые можно было бы опубликовать.

Кроме того, для более-менее объективной оценки научной работы нужно использовать несколько показателей и применять их лишь для того, чтобы сравнивать близких по возрасту и научной области людей. «При приеме в одну и ту же лабораторию, при рассмотрении двух примерно одинаковых кандидатов, наверно, можно отдавать предпочтение человеку, у которого показатели лучше. Но даже если рассматриваются кандидаты на один факультет, но на разные кафедры, то сравнение по библиометрическим показателям может оказаться уже некорректным», – продолжила Москалева.

Впрочем, по словам Стерлигова, «в целом это все не от хорошей жизни». Когда наукометрические параметры становятся показателем результативности работы – от ученого до научной организации – следить за ними приходится и руководству институтов. «Как ни печально, руководители организаций сами поставлены в ситуацию, когда оценка идет по таким показателям, и от этих цифр прямо зависит, закроют вуз или нет, "сольют" НИИ с соседним или не сольют. Выхода нет, и приходится в это все играть», – заключил эксперт.

«Администраторы везде любят простые цифровые показатели, зачастую не очень понимая, что за ними стоит»

То, что наукометрические показатели применяют широко, но не всегда грамотно, и то, что они влияют на карьерный рост и заработную плату, неизбежно приводит к злоупотреблениям. К ним относятся и публикации в «мусорных» журналах, в которых статьи не проходят необходимой процедуры рецензирования (или она проводится формально), и зачисление в список соавторов людей, не принимавших участия в исследовании, не говоря уже о более грубых нарушениях.

Чтобы решить первую проблему, Иван Стерлигов предлагает создать «белый» список журналов, авторитетность и качество публикаций которых подтверждают эксперты. «Если мы остаемся в рамках упрощенной количественной модели, то главное здесь – минимизировать возможности для оппортунизма, например, составлять "белые" списки журналов и учитывать публикации только в них. И "белый" список – это, к сожалению, не Scopus и даже не Web of Science».

На экспертах, составляющих список, будет лежать немалая ответственность. «По сути, это аутсорсинг оценки труда сотрудника: говоря, что у человека должна быть статья в Q1 (первый квартиль, четверть наиболее авторитетных журналов по какой-либо предметной области, – прим. Indicator.Ru), мы как бы перепоручаем оценку его труда двум анонимным рецензентам хорошего уровня», – отметил Стерлигов.

Бороться с зачислением посторонних людей в соавторы может быть еще сложнее. Человеку, который не принимал участия в исследовании, оценить вклад соавторов и вычислить «примазавшихся» практически невозможно, тем более, когда в ход идет административное влияние.

Но есть и обратная сторона: какие-то заслуги, даже касающиеся публикации научных результатов, наукометрические показатели могут не учитывать. «Может быть, человек пять лет писал гениальную монографию, а его не переизберут, потому что у него за эти пять лет ни одна статья не вышла», – приводит пример Ольга Москалева.

«Просто голые циферки мало о чем говорят»

Оба эксперта отмечают, что если ученые будут стремиться к численным показателям, это может подменить собой сму цель развития науки. «Такая же ситуация и с рейтингами вузов. Нельзя ставить целью просто попасть в рейтинг. Ставить цель надо – развивать науку, развивать образование. Если вы это делаете хорошо, да, вы попадете в рейтинг», – уверена Ольга Москвалева.

С ней согласен и Стерлигов: «Сейчас есть даже направление исследований – оценка последствий тотального распространения наукометрии. Одно из них – подмена целей, когда развитие науки, появление сильных прорывных результатов подменяется целью добиться красивых показателей, чтобы получить финансирование, продвинуться в рейтингах и так далее».

По мнению эксперта, сфера применения наукометрических показателей будет только расширяться. «Думаю, в дальнейшем ситуация будет развиваться в сторону тотального распространения наукометрической оценки туда, куда она еще не пришла. Прежде всего это касается гуманитариев, для которых, по-моему, эти оценки вообще неприменимы, но которые вместо организованного противостояния им зачастую сами начинают увлекаться подращиванием своих "хиршей" в РИНЦ», – прогнозирует Стерлигов.

Поэтому становится понятно, что механизмы использования наукометрии нужно совершенствовать. Сейчас «правила игры» устанавливают чиновники, и специалистов они привлекают неохотно. «В Министерстве образования и науки работает закрытая группа, которая в очередной раз всю эту систему оценки собирается модернизировать. Но, так как они это делают в своем любимом формате полной закрытости и в сжатые сроки, энтузиазма у меня не очень много, – рассказал Иван Стерлигов. – В России и своих специалистов почти нет, и взаимодействие с ними совершенно случайное. Кто-то где-то в какую-то рабочую группу входит, но решающего голоса не имеет. Квалификация людей, которые занимаются дизайном индикаторов, зачастую совершенно недостаточна».

Впрчем, эксперт призывает не забывать и о положительных результатах внедрения наукометрии: «Прежде всего, люди стали гораздо активнее подаваться в международные журналы, и наша наука стала более открытой, смею сказать, что результаты наших ученых стали более известны в мире. К тому же, чтобы что-то написать в такой журнал, надо что-то почитать, поэтому знакомство наших авторов с мировой литературой тоже возросло».

Автор: Алёна Манузина

Похожие новости

  • 03/08/2017

    Опубликованы результаты международного академического рейтинга Webometrics

    Рейтинг Webometrics издается исследовательской группой Cybermetrics, которая входит в состав Национального исследовательского совета Испании. Он публикуется дважды в год начиная с 2004 года.
    264
  • 17/05/2016

    Успехи в самоочищении науки

    ​Реформа ВАК - одна из немногих побед общества в борьбе с коррупцией. Процессы самоочищения науки - один из немногих примеров успешного сотрудничества государства и общества. В конце апреля утвержден новый состав Высшей аттестационной комиссии (ВАК), из которого исключены многие лица, засвеченные в скандалах с подложными диссертациями.
    557
  • 01/06/2017

    Какие специальности ведущих вузов наиболее интересны абитуриентам

    На днях стартовал основной период сдачи ЕГЭ. В течение месяца школьники будут сдавать экзамены, после чего начнут рассылать документы в университеты. О том, какие специальности становятся востребованными, как меняются предпочтения поступающих и где самые высокие конкурсы на бюджетные места, разбирался Indicator.
    759
  • 03/05/2017

    Математическое образование: есть ли поводы для оптимизма?

    ​О том, как государство пытается возродить некогда лучшее в мире математическое образование, каких успехов удалось достичь и какие задачи предстоит решить. Зачем нужна математика? С наступлением XXI века, распространением больших данных, всеобщей автоматизацией и проникновением интернета во все сферы нашей жизни математические методы и алгоритмы начинают использоваться абсолютно везде.
    511
  • 10/02/2016

    Академик Фортов: О реформе Академии – без гнева и пристрастия

    Президент РАН Владимир Фортов излагает свой взгляд на промежуточные итоги реформы: что получилось, что – нет, о непредвиденных последствиях, как оценить результаты усилий, в том числе и его личных, поскольку минувшие два года для него и его команды были без преувеличения временем борьбы за выживание РАН.
    1609
  • 24/08/2017

    Академиков все-таки секвестируют

    ​Как стало известно «НГ» от источников в Президиуме Российской академии наук, уже в ближайшие дни или на следующей неделе РАН ожидает получить распоряжение правительства об утверждении списка кандидатов на пост президента Академии наук.
    416
  • 26/10/2016

    Как Академия наук пережила мораторий

    ​​​26 октября, состоится научная сессия Общего собрания Российской академии наук. Тема сессии - "Генетические ресурсы растений, животных и микроорганизмов на службе человечества". Академический генофонд В повестке сегодняшнего дня Общего собрания РАН запланированы выступления вице-президента РАН Геннадия Романенко (в 1990-2013 годах - президент Российской академии сельскохозяйственных наук), министра сельского хозяйства РФ Александра Ткачева и руководителя Федерального агентства научных организаций (ФАНО) Михаила Котюкова.
    971
  • 05/07/2017

    Академикам удалось отменить спорную поправку о выборах президента РАН

    ​Все семь или восемь, или даже 25 выдвинутых Академией наук кандидатов могут баллотироваться в президенты РАН. Академикам и общественности, похоже, удалось отменить самую спорную поправку к новому законопроекту, разработанному в Госдуме РФ.
    339
  • 31/05/2016

    Академик Александр Чубарьян: наука, культура и образование сильнее всяких санкций

    ​Академик, научный руководитель Института всеобщей истории РАН Александр Чубарьян рассказал о том, как российские ученые разрушают новые и старые клише о России, с какими сложностями они сталкиваются и как складываются отношения с учеными тех стран, где русофобия достигает своего пика, а также о том, как идет реформа преподавания истории России.
    948
  • 25/07/2016

    Академики раскритиковали Стратегию научного развития России

    ​Минобрнауки подготовило проект Стратегии научно-технологического развития России на долгосрочный период, которая богато сдобрена иностранными терминами. Что же касается смысла и четких посылов, которые должна иметь такая Стратегия, их, увы, большинство представителей научного мира так и не увидели.
    1024