Специалисты «Коммуникационной лаборатории» Российской венчурной компании (РВК) и компании Digital Science опубликовали исследование онлайн-упоминаемости научных публикаций российских университетов на основе Altmetric Score — индекса влиятельности статей, который рассчитывают на основе количества просмотров, скачиваний, упоминаний статьи в СМИ, блогах и социальных сетях. Его часто используют зарубежные организации — например, журнал Nature. Однако можно ли применять этот показатель к публикациям отечественных вузов? И почему исследователи сосредоточили свое внимание только на вузах проекта «5-100», практически не рассказав о других университетах? Об этом и о некоторых других нюансах анализа Indicator.Ru поговорил с одним из авторов работы, директором Центра научной коммуникации Университета ИТМО Дмитрием Мальковым.

— Как получаются цифры показателя Altmetric Score?

— Показатель формируется из суммы баллов за упоминания научной публикации во всех источниках, которые индексирует Altmetric. За упоминания в разных источниках публикации присваиваются разные баллы. К примеру, за упоминание в СМИ публикация получит 8 баллов, за упоминание в блоге — 5, в Twitter — всего 1. Таким образом, показатель для вуза – это сумма всех баллов, полученных всеми публикациями вуза во всех источниках за анализируемый период.

— Можете поподробней рассказать, какие именно составляющие учитываются в Altmetric Score? Какие-то российские источники там учитываются?

— Altmetric Score учитывает СМИ, блоги, Twitter, Facebook, Linkedin, Reddit, YouTube, Q&A разделы сайтов, Википедию, различные правовые и политические документы и ряд других источников. Из российских источников учитываются некоторые российские СМИ, у которых есть лента RSS и которые попали в мониторинг Altmetric. Когда мы начинали работать с этим сервисом, из российских СМИ в базе Altmetric были «Газета.Ru», «Наука и жизнь», «Лента.ру» и еще парочка.

То есть российские источники почти никак не представлены в мониторинге Altmetric, по крайней мере за исследуемый период. Уже потом мы предоставили коллегам из Altmetric полную базу ключевых российских СМИ, которые они пообещали тогда добавить к себе мониторинг.

— К слову об условных весах источников. Почему вес Facebook в четыре раза меньше веса Twitter?

— Мне сложно ответить на этот вопрос. Тут логика не совсем очевидна, но я бы предположил, что это связано с тем, что на Западе Twitter в разы чаще используется для профессиональной коммуникации, особенно среди ученых, нежели Facebook. Для нас это не совсем интуитивно, потому что в России все, пожалуй, с точностью до наоборот. Но надо понимать, что разработчики Altmetric в большей степени ориентировались на западные страны.

— Среди источников вы упомянули политические и правовые документы. Что это под собой подразумевает? Каким образом научная статья или пресс-релиз вообще может попасть в политический документ?

— Правовые или политические документы – это различные отчеты ООН, ЮНЕСКО или, к примеру, документы, размещенные на всяких правительственных сайтах типа gov.uk.

На научные публикации часто ссылаются в правительственных отчетах по разным областям науки, будь то нанотехнологии, генная инженерия или что угодно. Скажем, если это какой-нибудь отчет по климату, то там обязательно будет часть, посвященная обзору доказательной базы, где могут оказаться ссылки на научные публикации.

— Вы отдельно анализируете внимание аудитории Twitter к российской науке, не затрагивая более популярный в России Facebook (он тоже есть в числе источников для Altmetric Score) и не анализируя еще более популярные социальные сети Вконтакте и Одноклассники, аудитория каждой из которых минимум в три раза больше аудитории Twitter. Насколько показателен в свете этого ваш анализ?

— Altmetric не мониторит ни Вконтакте, ни Одноклассники, поэтому мы в любом случае не смогли бы включить их в анализ. Сейчас мы сами (уже не на базе Altmetric) проводим похожее исследование в сотрудничестве с коллегами из ВК – смотрим на упоминаемость публикаций с российской аффилиацией в ВК. Но эти результаты появятся позже. Что касается Facebook, то он есть в мониторинге Altmetric, но по большинству вузов упоминаемость там была довольно скромной, так что сравнивать было нечего.

Twitter же за последние годы стал одним из самых мощных инструментов коммуникации ученых на Западе, так что было интересно посмотреть, насколько исследования с российской аффилиацией также проходят по этому каналу коммуникации. Более того, у большинства вузов была хоть какая-то Twitter-активность, достаточная для сравнительного анализа.

— Есть ли тогда какая-то альтернативная платформа для оценки упоминаемости, в которую можно было бы включить значимые именно для России источники публикаций? Кроме означенных социальных сетей это и РИА, и ТАСС, и другие крупные СМИ, которые достаточно много пишут о науке. О том, какая у них аудитория, говорить не буду, — это и так понятно.

— Такой национальной платформы не существует. На самом деле, нет никакой проблемы с тем, чтобы включить РИА или ТАСС в мониторинг Altmetric, скорее всего британские коллеги это уже сделали. А вот с другими источниками, релевантными только для России, сложнее.

— Вы рассматриваете онлайн-упоминаемость научных публикаций только российских университетов. Почему из фокуса исследования исключены институты РАН?

— Для того, чтобы получить данные по вузам, нам пришлось прогнать через Altmetric более 250 000 публикаций. Анализ такого объема статей занимает много времени и сил, поэтому мы решили пока ограничиться вузами. Аналогичный анализ по институтам может и должен стать предметом отдельного исследования. В остальном я согласен, что сопоставить онлайн-упоминаемость вузов и институтов было бы довольно любопытно.

— Так это все вручную делается, не автоматически?

— Отчасти. Дело в том, что библиографические данные по вузам, в том числе DOI публикаций, мы выгружали через профили вузов в Scopus. Эта база данных дает широкие возможности для анализа публикационной активности, но при этом Scopus ограничивает размер единоразовой выгрузки до 20 000 публикаций. Кроме того, нам нужно было проверить каждый организационный профиль в Scopus по всем 100 вузам, чтобы убедиться, что при выгрузке в данные не закрались ошибки.

DOI — Digital object identifier, цифровой идентификатор объекта — стандарт обозначения для представленной в Интернете информации об объекте, в англоязычной научной среде этот стандарт принят для обмена данными между учеными, в частности для опубликованных в Интернете научных статей.

Indicator.Ru, Справка

Затем весь массив DOI по каждому вузу прогоняется через интерфейс Altmetric. После этого данные необходимо чистить, сортировать по датам и источникам упоминаний. Работа, на самом деле, колоссальная и даже коллеги из британского офиса Altmetric очень сильно удивлялись, что мы взялись за анализ такого огромного массива.

— Давайте поговорим о представленных в исследовании графиках. На первом из них вы сравниваете МГУ, СПбГУ, все вузы проекта «5-100» и все остальные вузы из топ-100 Национального рейтинга университетов. При этом показатели 21 вуза «5-100» выглядят лучше всех.

7b909c53f70f13bba791daa0eb7c0f1f176f3a28 

Результаты сопоставления Altmetric Score для МГУ, СПбГУ, вузов-участников проекта «5-100» и остальных вузов топ-100 Национального рейтинга университетов / Игорь Осипов et al.

Насколько корректно сравнивать на одном графике и результаты одного вуза, даже такого как МГУ или СПбГУ, и суммарно двадцати одного? Ведь глядя на такой график, зритель, который не будет сильно вникать в описание, легко может ошибиться: ему покажется, что вузы «5-100» намного успешнее МГУ и СПбГУ. Хотя если взять среднюю цифру по «5-100» и по не-«5-100», картина будет совершенно иная.

— В обратном случае нам пришлось бы объединять МГУ и СПбГУ с группой вузов, которые не входят в 5-100, что очень сильно исказило бы картинку. Более того, мне кажется довольно показательным тот факт, что МГУ и СПбГУ по отдельности сопоставимы по активности с десятками ведущих вузов – довольно серьезный разрыв.

Усредненные показатели можно было использовать, но с ними получилась бы аналогичная проблема. Тогда невнимательный читатель может подумать, что вузы 5-100 в совокупности еле поспевают за МГУ и СПбГУ, что совсем не так. Тут, на мой взгляд, интереснее посмотреть на абсолютные показатели, тем более что вузы 5-100 в некотором смысле воспринимаются как единая сила в российской науке, этакий драйвер трансформации науки в университетах страны. Безусловно, мы не хотим никого вводить в заблуждение.

— Но почему вы решили на первом графике группировать вузы, а не рассматривать их по отдельности?

Мы рассматриваем по отдельности вузы первой и второй волны Проекта 5-100, с остальными вузами нам это было в меньшей степени интересно. Кроме того, сравнить 70 вузов на одном временном графике было бы затруднительно, даже с 15 вузами первой волны 5-100 приходится сильно всматриваться, чтобы понять, кто есть кто.

 article_2018_1.jpg

article_2018_3.jpg 

Результаты сопоставления Altmetric Score среди 15 вузов первой волны проекта «5-100». / Игорь Осипов et al.

— Можно использовать ваши данные для того, чтобы анализировать, насколько хорошо пресс-службы вузов «5-100» выполняют свою работу без ручной их корректировки?

— Можно, но делать это нужно осторожно. В исследовании мы пишем о том, что работа пресс-службы – это лишь один из факторов, который влияет на альтметрики, наряду с публикационной активностью и международной деятельностью. Наш анализ позволяет сделать срез по упоминаемости публикаций российских вузов, но выводы о работе их пресс-служб нужно делать очень внимательно. Знакомство, пускай даже поверхностное, с каждым конкретным вузом помогает в этом.

— В вашем исследовании есть раздел «Анализ ключевых сообщений», в котором вы оцениваете каждый вуз проекта «5-100» по отдельности, при этом исключая из выборки публикации без «прозрачного и очевидного упоминания самого университета». Что показывает этот раздел? Ведь любое СМИ или любой блогер (не говоря уже о правовых и политических документах) может легко убрать упоминание университета из своей публикации, даже воспользовавшись пресс-релизом, который подготовил вуз.

— В Altmetric можно посмотреть все новостные сообщения с упоминанием той или иной научной публикации. При таком ручном анализе становится довольно очевидным, где есть вклад пресс-службы, а где его нет. Скажем, если мы находили в списке новостей пресс-релиз на EurekAlert! (крупнейшем международном агрегаторе научных пресс-релизов), который исходил от российского вуза, мы сразу понимали, что этот вуз был инициатором коммуникации. Мне кажется, что случаи, когда СМИ получает релиз от вуза и решает вообще не упоминать его в материале, происходят достаточно редко, чтобы ими можно было пренебречь.

— Почему, несмотря на заявленные в заглавии исследования «российские университеты» вообще, вы особое внимание уделяете именно университетам проекта «5-100»? Вы рассматриваете отдельно каждый из них, обходя вниманием и СПбГУ, и МГУ, которые тоже заслуживают анализа и оценки. И в выводах вы их тоже почему-то не упоминаете.

— Большинство из этих вузов мы хорошо знаем, поэтому нам было проще анализировать их и делать какие-то выводы. СПбГУ и МГУ очень сильно выбиваются по суммарному количеству научных публикаций и международных коллабораций (да и вообще занимают особое положение в российской науке и образовании), в связи с чем сравнивать их напрямую с вузами 5-100 довольно затруднительно. Но в целом я согласен: безусловно, они также заслуживают внимания.

Автор: Наиль Фарукшин

Похожие новости

  • 31/05/2016

    Академик Александр Чубарьян: наука, культура и образование сильнее всяких санкций

    ​Академик, научный руководитель Института всеобщей истории РАН Александр Чубарьян рассказал о том, как российские ученые разрушают новые и старые клише о России, с какими сложностями они сталкиваются и как складываются отношения с учеными тех стран, где русофобия достигает своего пика, а также о том, как идет реформа преподавания истории России.
    1608
  • 03/07/2017

    Почему в России необходим Этический кодекс ученых

    ​Академик Александр Григорьевич ЧУЧАЛИН - советский и российский пульмонолог, академик Российской академии наук, академик АМН СССР, вице-президент АМН СССР,доктор медицинских наук, профессор, главный терапевт Минздрава России, вице-президент Национальной медицинской палаты,  Почетный член Кубинской и Чешской академий наук, Европейской Академии наук и искусств, Академии "Восток - Запад", Академии Рамазини - М.
    783
  • 16/10/2018

    Академик Борис Патон: Эверест в науке. Часть 2

    ​"Чаепития в Академии" — постоянная рубрика Pravda.Ru. Писатель Владимир Степанович Губарев беседует с выдающимися учеными. Сегодняшним гостем проекта "Чаепития в Академии" можно назвать и великого русского ученого академика АН СССР и РАН, президента Академии наук Украины Бориса Евгеньевича Патона.
    92
  • 04/12/2017

    Академик Валерий Бондур о тайнах «Аэрокосмоса»

    ​"Чаепития в Академии" — постоянная рубрика "Правды.Ру". В ней мы публикуем интервью писателя Владимира Губарева с академиками. Сегодня снова его герой — ученый-океанолог, доктор технических наук, вице-президент РАН, академик Валерий Бондур.
    641
  • 14/10/2016

    Академик Ивантер: мы повидали уже много санкций

    ​В последние дни в западной прессе вновь активно муссируется тема санкций против России. На этот раз за позицию Москвы по Сирии. Правда, направлены они будут, по информации Financial Times, не против российских компаний, а против высокопоставленных чиновников.
    1101
  • 14/10/2017

    Академик Абел Аганбегян: за 25 лет можно было сделать неизмеримо больше

    ​Академик РАН, экс-ректор Академии народного хозяйства при Правительстве РФ, а ныне заведующий кафедрой РАНХиГС Абел Аганбегян на днях отметил свой 85-летний юбилей.  Он был экономическим советником Михаила Горбачева, его имя широко известно в научных кругах, его лекции слушали студенты ведущих мировых университетов мира, к нему обращался Нобелевский комитет с просьбой рекомендовать кандидатов на премию.
    505
  • 19/05/2016

    Денис Адамов: наше агентство - в числе «Крупнейших переводческих компаний России-2016»

    ​Семь лет назад трое студентов, будущие юристы, решили заняться переводческим бизнесом. Сейчас глава агентства переводов — Денис Адамов — управляет совместным бизнесом самостоятельно, несмотря на ограничения, связанные со здоровьем.
    1398
  • 29/01/2018

    Каким будет университет будущего в 2035 году: интервью члена Наблюдательного совета «Университета 20.35» Нины Яныкиной

    ​Чем «университет будущего» отличается от привычных онлайн-курсов, почему ему предстоит пройти через период отторжения со стороны общества и как искусственный интеллект поможет людям адаптироваться к нуждам современной экономики, Indicator.
    484
  • 16/10/2017

    Академик Валерий Черешнев: куда же мы идем?

    ​Встречи с кандидатами в президенты РАН дали мне возможность не только представить, насколько масштабна и неповторима отечественная наука, но и увидеть ее особенности, болевые точки и  даже некоторую ее отдаленность от событий, происходящих в современном мире.
    684
  • 23/11/2016

    Академик Шабанов предлагает выход из возникшей в РАН ситуации

    ​Академию продолжают сотрясать бурные споры. Наиболее взрывоопасная тема сегодня - объединение институтов в Федеральные исследовательские центры.  Громкое заявление председателя Сибирского отделения РАН, академика Александра Асеева, что "из-за создания ФИЦ в Красноярске происходит развал науки", процитировано многими СМИ.
    2709