​Кого автоматическое назначение избавит от нелегкого труда, какие проблемы оно поможет решить, а какие нет, как противостоять некомпетентности и избежать предвзятости экспертов Российского научного фонда — «злых» и «добрых», читайте в репортаже Indicator.Ru. 

У многих научных фондов процесс принятия решения покрыт мраком: заявки поступают внутрь, а наружу выходят решения о победителях. Все, что находится между этими этапами, напоминает черный ящик. Российский научный фонд сделал еще один шаг к открытости экспертизы и на заседании экспертного совета по Президентской программе исследовательских проектов рассказал об опробованной в этом году автоматической системе распределения заявок, которую некоторые участники заседания даже предложили назвать системой поддержки принятия решений. Рассказываем, что это за механизм и какое значение он имеет для тех, кто назначает экспертов и желающих получить грант.

«40% назначений идут впустую»

Доклад о новом методе представил заместитель генерального директора, начальник управления программ и проектов РНФ Андрей Блинов. Для начала каждой заявке нужно назначить от двух до пяти рецензентов, которые должны быть квалифицированными в теме проекта и не иметь конфликта интересов. Решение о том, кому достанется заявка для оценки, принимает координатор секции экспертного совета. Очень часто этот человек знает экспертов, а иногда и заявителей — если не лично, то по их работам и публикациям.

С одной стороны, это даже хорошо: например, координатор может сразу понимать, какой эксперт действительно разбирается в теме заявки, независимо от того, указал ли он в списке научных интересов ключевые слова или нет. Но здесь включается субъективный фактор: к примеру, координатор лично не согласен с гипотезой автора заявки и постарается направить его к строгому и взыскательному эксперту, а заявку, которой он желает победы, пошлет к более лояльному. При этом задача координаторов настолько объемная, что добросовестная проверка всех экспертов, списков их публикаций, чтобы понять, что им тема подойдет, — это нелегкий труд.

 
 

Количество назначений за время работы фонда

Клименко, Блинов/РНФ

«За 6 лет (работы РНФ — прим. Indicator.Ru) координаторы назначили около 250 тысяч экспертиз. Если посчитать, это в среднем 12 экспертиз в день на каждого координатора — колоссальное количество. И около 40% этих назначений идут впустую — эксперты не отвечают, оказываются заняты или больны, отказываются по разным причинам. В итоге труд координатора просто пропадает, — посетовал Блинов. — Естественно, что при назначении нескольких тысяч экспертиз начинаются человеческие ошибки. И этих самоотверженных людей еще и обвиняют, что они назначают "нужных" экспертов на "нужные" заявки».

От кода до автоматического назначения

В этом году было принято решение попробовать автоматизировать эту ступень, чтобы высвободить время координаторов и уменьшить влияние субъективных факторов на оценку заявки. Но к современной схеме пришли не сразу. Процедуру подбора экспертов дорабатывали пошагово, добавляя все новые и новые параметры. В 2014 году, в первый год работы фонда, для подбора предлагаемого координатору пула экспертов на заявку информационно-аналитическая система РНФ использовала только коды классификаторов, например 01-105 — топология. В 2015 году ИАС стала учитывать конфликты интересов, например не предлагать экспертов из той же организации, где работает автор заявки. Позже добавили ограничение и для экспертов, участвующих в качестве руководителей в рассматриваемом конкурсе, чтобы в их руки не попала власть над судьбой заявок конкурентов.

В 2016 году был введен учет нагрузки на эксперта, путем проб и ошибок выяснили максимальную нагрузку на одного человека — не более десяти проектов одновременно (в работе или на согласовании). Это помогает избежать ситуации, когда эксперт смотрит заявки в спешке и невнимательно или набирает их побольше ради оплаты своего труда, не переживая за качество своей оценки. Понятно, что есть рецензенты, рассматривающие одну заявку плохо за тот промежуток времени, пока другие отлично справляются с десятками. Сейчас у эксперта на руках в большинстве случаев находится одновременно до пяти проектов, хотя, если человек быстро завершает работу над одним из них, он может получить еще. Кроме того, совсем недавно добавили возможность самому эксперту определять тот максимум, который он может рассматривать одновременно. Если эксперт считает, что больше пяти заявок сразу он не осилит, компьютер не будет номинировать его на шестую.

Автоматическая схема назначения экспертов работает в два этапа: сначала система подбирает от 50 до 100 потенциальных экспертов на проект. Компьютер отсеивает неподходящие кандидатуры по нагрузке (если у человека в работе более десяти проектов), их принадлежности к организациям, соответствию кодам классификатора и ключевым словам, участию в рассматриваемом конкурсе. Затем система ранжирует всех кандидатов по совпадению их научных интересов с темой проекта и уровню их нагрузки и назначает экспертов на заявку. При этом не допускается назначение на одну заявку экспертов из одной организации. Все числовые параметры подбора и назначения могут быть уточнены — например, адаптируясь под очень узкую или, наоборот, широкую научную область.

Такой подход в сравнении с обычным позволяет ускорить сам процесс назначения экспертов и, соответственно, срок принятия или отказа экспертов от оценки заявок, а также увеличить скорость проведения экспертизы, так как компьютер быстрее переназначает экспертов при отказе.

 
 

На распределение экспертов по регионам автоматическое назначение не очень повлияло: где больше ученых, там больше экспертов (и, соответственно, заявок)

Клименко, Блинов/РНФ

При любом назначении баллы оказались схожими — а значит, на качество экспертизы нововведение не повлияло. Зато снизился разброс баллов: в 16% случаев все три рецензента оценили заявку одинаково. Конечно, для учета разносторонних мнений и подбирают троих экспертов на каждый проект, но если разброс баллов слишком большой, то это свидетельствует либо о разном уровне квалификации экспертов, либо о недостаточной методической работе с экспертами. Поэтому каждый случай с полярными оценками отдельно рассматривается секцией экспертного совета.

 
 

Причины отказов при обычном и автоматическом назначении

Клименко, Блинов/РНФ

При компьютерном назначении выросло количество отказов от проведения экспертизы. Правда, если посмотреть на их причины, можно понять, что по критериям конфликта интересов и неудобных сроков это число, наоборот, уменьшилось. Да, компьютер хуже координатора знает компетентность экспертов, но зато он тщательнее проверяет аффилиации и не пропустит их по невнимательности.

«Все сталкивались с ужасными случаями»

Пока что автоматическое назначение не обязательно: любой координатор может продолжать работать вручную. Но среди ученых, заявки которых анализировали по новой методике, оказалось меньше недовольных результатом: процент возражений упал с 0,32% до 0,28%. Так что пока автоматические назначения выглядят полезным новшеством.

Однако академики, эксперты и другие участники собрания выразили различные опасения и перечислили доработки, которые улучшили бы такую систему. Во-первых, как предостерег академик Вадим Кукушкин, не нужно переходить к полностью автоматической оценке, ведь при ошибке системы или атаке на нее результаты будут сильно искажены. Во-вторых, стоит следить, как долго эксперт занимается одним проектом, и, если он постоянно задерживает ответ на целый месяц, возможно, он замедляет работу фонда, и нужно учитывать это при отборе. С другой стороны, это поможет избежать ситуации, когда человеку одновременно приходит на оценку сразу шесть-семь заявок прямо перед дедлайном. Кроме того, нужно уточнять информацию о самих экспертах — их кодах классификаторов, ключевых словах, возможно, оставить тонкую настройку для разных рубрик. Не решен пока вопрос о «злых» и «добрых» проверяющих. Однако в планах фонда — разработка системы учета поведения экспертов, чтобы сделать оценку еще объективнее.

Большой — и пока нерешенной — проблемой сегодня можно назвать размер экспертного пула. В базе РНФ сейчас пять тысяч российских и 1,5 тысячи зарубежных рецензентов. Не все из них активны и имеют выдающиеся научные достижения. Фонд регулярно приглашает к экспертной деятельности руководителей поддержанных проектов, но даже при таком подходе экспертов недостаточно, поэтому сейчас перед РНФ стоит дилемма: или набирать практически всех желающих, удовлетворяющих формальным признакам, или остаться с нехваткой рецензентов, которым приходится очень много работать (а из-за нагрузки может расти частота ошибок). Конечно, эксперту можно сделать замечание или даже лишить его этого поста, но система отбора новых рецензентов, скорее всего, нуждается в модификации.

Однако, по словам главного научного сотрудника НИУ «Московский энергетический институт», председателя экспертного совета по научным проектам, академика РАН Александра Клименко, главной цели система автоназначения все же достигла. «В 2017-м все жаловались: вы говорите об объективности, о том, что все в "ажуре", но у конкретных людей колоссальная власть. Они могут утопить любую заявку или провести заявку "в дамки". Что-что, а эту претензию мы снимем во многом», — резюмировал он.

Екатерина Мищенко

Похожие новости

  • 15/08/2016

    Юрий Симачев: нельзя полностью формализовать критерии отбора РНФ

    ​"Экспир" встретился с заместителем генерального директора Российского научного фонда (РНФ) Юрием Симачевым в день, когда были объявлены результаты первого совместного конкурса РНФ и Немецкого научно-исследовательского сообщества (DFG) на поддержку фундаментальных и поисковых исследований международных научных групп в области физики, космоса и математики.
    1645
  • 25/12/2018

    Артем Оганов: грантовую поддержку в России необходимо укрепить достойными зарплатами ученых

    Грантовая поддержка для ученых, которые работают в России, развита на должном уровне, при этом для ощущения стабильности исследователям не хватает достойных заработных плат. Такое мнение выразил ТАСС профессор Сколковского института науки и технологий (Сколтех) Артем Оганов.
    1101
  • 24/04/2017

    О мировой практике распределения грантов

    ​Кому из ученых дать больше денег, а кому меньше? Сейчас это решение централизованно принимают государственные агентства. Система работает не очень эффективно и не всегда справедливо.  Появилось революционное предложение: почему бы не раздать каждому исследователю по кусочку от общего пирога, но с обязательством поделиться им с другими.
    1828
  • 04/03/2019

    Экспертный совет РНФ: опыт нового члена секции физики

    ​В начале 2019 года я вошел в экспертный совет РНФ по президентской программе, по секции физики. Сложно удержаться от желания поделиться с коллегами своими впечатлениями.
    492
  • 23/05/2017

    Повод для гордости: РНФ держит марку

    ​Недавно Российский научный фонд (РНФ) отчитался о своей деятельности за 2016 год перед Попечительским советом и направил соответствующий доклад Президенту и Правительству России. Третий год работы РНФ был весьма насыщенным: фонд развивал ставшие уже традиционными формы поддержки ведущих научных коллективов, внедрял новые направления, совершенствовал организацию конкурсов.
    896
  • 24/01/2018

    Стали известны самые востребованные научные направления в России

    ​​Физика и химия стали самыми востребованными научными направлениями в России, они получают развитие благодаря программе выдачи грантов, сообщил генеральный директор Российского научного фонда (РНФ) Александр Хлунов.
    939
  • 11/04/2019

    Как правильно работать с грантовыми соглашениями РНФ

    ​С 09 апреля 2019 года руководители поддержанных проектов конкурса отдельных научных групп 2019 года получили доступ к заполнению грантовых соглашений, в течение нескольких дней будет открыт доступ и к соглашениям по конкурсам продления проектов 2016 года.
    691
  • 03/06/2019

    Александр Хлунов: государственному заданию необходима серьезная экспертиза

    По мнению генерального директора Российского научного фонда Александра Витальевича Хлунова, экспертиза при утверждении государственного задания для научных организаций России должна быть такой же тщательной, как экспертиза в РНФ.
    981
  • 18/11/2016

    Как меняется жизнь ученых после мегагранта?

    ​Что изменилось в российской науке с появлением мегагрантов, почему российские ученые не умеют писать статьи и зачем стране нужен институт постдоков, корреспонденту Indicator.Ru рассказал профессор Университета Северной Каролины и МГУ имени М.
    1728
  • 06/03/2018

    Грантовая система РНФ эффективна как дополнение к мегагрантам

    ​Грантовая система Российского научного фонда эффективна как дополнение к другой системе - системе мегагрантов, так как прорывные исследования требуют значительного финансирования, рассказал ТАСС директор Института физико-химической биологии им.
    910