​Нужно ли повышать степень автоматизации труда экспертных комиссий, оценивающих научные результаты? Казалось бы, ответ очевиден. Когда речь идет о значительном объеме работы (а Российский научный фонд, например, ежегодно выполняет более 50 тысяч экспертиз), грех не использовать возможности компьютера, разумеется, не передавая машине рычаги управления.

Однако выяснилось, что не все ученые готовы доверить даже небольшую часть экспертных функций интеллектуальной системе поддержки принятия решений. Это показало обсуждение итогов эксперимента по автоматическому назначению экспертов, рассматривающих заявки конкурсов РНФ, на заседании Экспертного совета (ЭС) фонда по Президентской программе.

Заседание началось с приятного. Председатель совета академик Александр Клименко поздравил членов экспертных советов фонда, которые на недавнем Общем собрании Российской академии наук были избраны в академики и члены-корреспонденты РАН. Их оказалось двенадцать. Примерно столько же было и после выборов 2016 года, напомнил А.Клименко. Выявившуюся закономерность он в шутку прокомментировал так: попадание в Экспертный совет РНФ определенно становится хорошим началом выборной кампании для желающих избраться в члены РАН.

Получивших академические звания коллег поприветствовали аплодисментами не только члены Экспертного совета РНФ по Президентской программе. Рассмотрение вопроса об автоматическом назначении экспертов происходило в расширенном составе: были приглашены представители Экспертного совета РНФ по научным проектам, РФФИ, Высшей школы экономики, дирекции Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса» и других структур, занимающихся организацией научных конкурсов.

О том, что дало внедрение в экспертный процесс новых технологий в ходе реализации Президентской программы, рассказал заместитель генерального директора – начальник Управления программ и проектов РНФ Андрей Блинов. Для начала он объяснил, почему возникла необходимость прибегать при выборе экспертов к помощи компьютера. Главная причина – большая трудоемкость работы координаторов секций, которым при проведении отдельных конкурсов приходится назначать по тысяче и более экспертиз. При этом около 40% обращений к выбранным экспертам оказываются «холостыми выстрелами»: часть людей не отзывается, некоторые присылают отказы. Кроме того, координаторов нередко обвиняют в том, что, назначая экспертами определенных людей, они оказывают влияние на оценки. Свести к минимуму субъективный фактор – задача, которую поставило перед экспертными советами РНФ научное сообщество.

Программа автоматического назначения экспертов выполняет две главные функции – отбор и ранжирование, сообщил А.Блинов. На каждый проект изначально подбираются до 100 экспертов. Учитываются соответствие их специализации кодам классификатора и ключевым словам заявки, конфликт интересов, нагрузка на рецензента (не более 10 одновременно проводимых экспертиз), принадлежность к организациям, в которых работают заявители и другие назначенные на эту заявку эксперты (все трое не должны работать в одной структуре). Далее происходит отбор оптимальных вариантов с учетом «удельных весов» показателей. Важно, что в процессе работы оператор может менять все ключевые параметры.

На рисунке видно, как совершенствовалась программа «автоподбора».

А впервые она была использована при проведении конкурса Президентской программы РНФ на проведение исследований на базе существующей научной инфраструктуры мирового уровня 2018 года. Сначала работа шла в переходном режиме: компьютер назначал экспертов, а координаторы могли отклонить предложенные варианты. По разным секциям доля забракованных людьми машинных решений составила 2-25%, а в среднем – 7%. В основном руководители секций вмешивались в тех случаях, когда «отлавливали» конфликты интересов, не определяемые на формальном уровне.

В процессе тестирования программисты совершенствовали систему. Ее «боевые» испытания провели в ходе конкурса инициативных проектов молодых ученых 2019 года, когда все секции приняли решение полностью доверить отбор экспертов машине. Результаты сравнили с итогами «ручного» отбора, проведенного в рамках аналогичного конкурса предыдущего года.

А.Блинов представил собравшимся получившуюся картину. Характер распределения оценок при ручном и автоматическом назначении оказался близким. Сходство продемонстрировали даже результаты оценки проектов по такому критерию, как научная значимость и актуальность тематики, где уровень субъективности потенциально высок. При использовании «автомата» несколько увеличилось число отказов экспертов, зато возросла скорость проведения оценочного процесса. В целом опыт показал, что компьютер может успешно ассистировать человеку и даже подменять его в случае необходимости.

Координаторы секций Экспертного совета по Президентской программе отметили, что новая система серьезно экономит их время и облегчает труд.

– Когда много заявок и мало времени, координатор действует практически по тому же алгоритму, что и компьютер, оперируя ограниченным объемом доступных данных, – подчеркнул член совета академик Виталий Кведер. – Но человек может ошибиться: накапливается усталость, памяти на все не хватает. Машина же все делает точно.

О том, что работу в этом направлении нужно продолжать, а систему совершенствовать, говорили и другие координаторы. По словам А.Блинова, разработчики видят несколько направлений развития проекта: увеличение числа ключевых слов и шлифовка программы семантического анализа, расширение экспертного пула, уточнение информации об экспертах (их публикации, время, которое каждый из них тратит на рассмотрение заявки, реальная «цена» оценки «добрых» и «злых» рецензентов).

Приглашенные специалисты задавали много вопросов. Зачем формировать специальный, ограниченный по численности пул экспертов РНФ? Почему нельзя привлекать к оценке той или иной заявки всех известных в мире специалистов данного профиля? Мы работаем в рамках действующего законодательства, ответил А.Блинов. Поэтому РНФ может поручить экспертизу лишь ученым, которые подписали договор с фондом. Кроме того, конкурсный цикл в РНФ – один из самых коротких в мире, в большинстве зарубежных научных фондов он составляет около года. Многие иностранные коллеги не привыкли к таким темпам.

Долго обсуждалась неисчерпаемая тема конфликта интересов. Было внесено немало предложений по поводу того, как его выявлять.

Принципиальным оппонентом «автоматизации» выступил председатель Экспертного совета по научным проектам академик Александр Макаров. Он заявил, что считает машинную систему назначения экспертов в корне вредной.

– Такой практики нет нигде в мире, – подчеркнул академик. – И нам не стоит стремиться в этом вопросе стать впереди планеты всей, учитывая фрагментарность нашей науки. Родственные лаборатории, где понимают, чем занимаются коллеги, по многим направлениям найти непросто. Кроме того, в базе РНФ встречаются недостаточно компетентные ученые. Поскольку выбор компьютера носит стохастический характер, риск их привлечения к экспертизе возрастает.

А.Макаров рекомендовал не вводить практику автоматического назначения экспертов повсеместно и предложил обсудить этот вопрос на заседании возглавляемого им Экспертного совета.

А.Клименко заверил: каждый совет имеет право самостоятельно решать, использовать ли ему в своей работе новые возможности. О том, что человек уйдет из системы принятия решений, не может быть и речи, подытожил он. А.Клименко выступил и в защиту корпуса экспертов РНФ. Он напомнил, что «в эксперты фонда люди попадают не с улицы»: к кандидатам предъявляются очень серьезные требования, и все они утверждаются экспертными советами фонда.

Экспертный совет по Президентской программе РНФ единогласно одобрил проведенную фондом работу по совершенствованию экспертных процедур и заявил о необходимости продолжения работы по развитию автоматической системы подбора экспертов и целесообразности использования нового механизма в массовых конкурсах, находящихся в компетенции совета.

Надежда Волчкова

Источники

Зачет автомату. РНФ шлифует экспертные процедуры
Российский научный фонд (rscf.ru), 02/12/2019
Зачет автомату. РНФ шлифует экспертные процедуры
Российский научный фонд (рнф.рф), 02/12/2019
Зачет автомату. РНФ шлифует экспертные процедуры
Поиск (poisknews.ru), 01/12/2019

Похожие новости

  • 19/12/2016

    Бюджет науки оскудевает

    Государственная Дума приняла бюджет России на 2017 год и плановый период 2018-2019 годов. В прессе его именуют "консервативным", "антисоциальным" и просто "никаким". В любом случае, это не бюджет развития, и ничего хорошего науке он явно не сулит.
    3704
  • 11/03/2019

    Главные новости сибирской науки в феврале 2019 года

    В результате анализа данных информационного портала ГПНТБ СО РАН «Новости сибирской науки» за февраль 2019 г. выявлены самые рейтинговые сообщения по различным категориям. В разделе «Новости СО РАН» наибольшее количество просмотров у статей: 12 февраля – Кому достанется имущество СО РАН? 13 февраля – Заседание Президиума СО РАН 14 февраля 2019 года.
    1659
  • 29/05/2019

    Как получить грант, чтобы он не стал последним

    ​Биолог Софья Гарушянц о том, кто и как выдает гранты в России, как подготовить заявку и что ни в коем случае не должен делать ученый. Даже небольшой грант — это важная строчка в резюме. Если вам удалось получить финансовую поддержку, будучи аспирантом, постдоком или даже еще студентом, это повышает вашу ценность как исследователя в глазах сообщества и сильно выделяет ваше резюме среди других.
    1135
  • 19/01/2017

    Бюджет-2017 и финансирование науки

    ​19 декабря 2016 года президент Путин подписал закон о федеральном бюджете на 2017 год и плановый период 2018 и 2019 годов. Расходы на гражданскую науку заметно увеличатся в сравнении с прошлым годом: на эти цели в 2017 году планируется потратить примерно 336 млрд руб.
    5171
  • 04/10/2019

    Депутаты Госдумы уклонились от обсуждения судьбы научных фондов

    ​Можно было ожидать, что проведенное недавно рассмотрение вопроса о деятельности государственных научных фондов в Комитете Госдумы по образованию и науке выльется в серьезный разговор о грядущей «фондовой» реформе, которую научное сообщество взволнованно обсуждает в последние недели.
    491
  • 06/12/2016

    Как финансировать российскую науку?

    О сотрудничестве ученых с Российским научным фондом и о проблемах, с которыми сталкивается научное сообщество при работе с грантами корреспондент Indicator.Ru побеседовал с Ириной Белецкой, академиком РАН, доктором химических наук, профессором химического факультета МГУ, и Валентином Ненайденко, доктором химических наук, профессором химического факультета МГУ.
    2247
  • 17/09/2019

    Ученые начали сбор подписей против возможной ликвидации программ РФФИ

    ​Российские ученые, в том числе руководители и исполнители проектов, поддержанных грантами Российского фонда фундаментальных исследований (РФФИ), начали в понедельник сбор подписей против возможной ликвидации программ этого фонда.
    671
  • 12/09/2019

    Михаил Котюков: реформа научных фондов должна повысить их результативность

    ​Реформа системы научных фондов в стране - Российского научного фонда (РНФ) и Российского фонда фундаментальных исследований (РФФИ) - призвана повысить их результативность и общую слаженность в работе, сообщил 11 сентября журналистам министр науки и высшего образования РФ Михаил Котюков.
    789
  • 21/11/2019

    Судьба РФФИ предрешена?

    ​​Профсоюз работников РАН получил из Министерства науки и высшего образования ответ на свой запрос, касающийся ситуации с научными фондами. В документе, опубликованном на сайте профсоюза и подписанном первым заместителем министра Григорием Трубниковым, сообщается, что «вопрос об изменении функционала РФФИ и РНФ проработан Минобрнауки совместно с указанными фондами и с учетом поручений президента».
    582
  • 18/11/2015

    Академик Георгий Георгиев: Что губит российскую науку и как с этим бороться. Часть I

    ​​​Введение: основные типы науки. В качестве введения хочу перечислить основные типы науки. Можно различать (1) большую науку, (2) фундаментальную, (3) фундаментальную социально ориентированную (поисковую?) и (4) прикладную науку.
    2556