Специалисты «Коммуникационной лаборатории» Российской венчурной компании (РВК) и компании Digital Science опубликовали исследование онлайн-упоминаемости научных публикаций российских университетов на основе Altmetric Score — индекса влиятельности статей, который рассчитывают на основе количества просмотров, скачиваний, упоминаний статьи в СМИ, блогах и социальных сетях. Его часто используют зарубежные организации — например, журнал Nature. Однако можно ли применять этот показатель к публикациям отечественных вузов? И почему исследователи сосредоточили свое внимание только на вузах проекта «5-100», практически не рассказав о других университетах? Об этом и о некоторых других нюансах анализа Indicator.Ru поговорил с одним из авторов работы, директором Центра научной коммуникации Университета ИТМО Дмитрием Мальковым.

— Как получаются цифры показателя Altmetric Score?

— Показатель формируется из суммы баллов за упоминания научной публикации во всех источниках, которые индексирует Altmetric. За упоминания в разных источниках публикации присваиваются разные баллы. К примеру, за упоминание в СМИ публикация получит 8 баллов, за упоминание в блоге — 5, в Twitter — всего 1. Таким образом, показатель для вуза – это сумма всех баллов, полученных всеми публикациями вуза во всех источниках за анализируемый период.

— Можете поподробней рассказать, какие именно составляющие учитываются в Altmetric Score? Какие-то российские источники там учитываются?

— Altmetric Score учитывает СМИ, блоги, Twitter, Facebook, Linkedin, Reddit, YouTube, Q&A разделы сайтов, Википедию, различные правовые и политические документы и ряд других источников. Из российских источников учитываются некоторые российские СМИ, у которых есть лента RSS и которые попали в мониторинг Altmetric. Когда мы начинали работать с этим сервисом, из российских СМИ в базе Altmetric были «Газета.Ru», «Наука и жизнь», «Лента.ру» и еще парочка.

То есть российские источники почти никак не представлены в мониторинге Altmetric, по крайней мере за исследуемый период. Уже потом мы предоставили коллегам из Altmetric полную базу ключевых российских СМИ, которые они пообещали тогда добавить к себе мониторинг.

— К слову об условных весах источников. Почему вес Facebook в четыре раза меньше веса Twitter?

— Мне сложно ответить на этот вопрос. Тут логика не совсем очевидна, но я бы предположил, что это связано с тем, что на Западе Twitter в разы чаще используется для профессиональной коммуникации, особенно среди ученых, нежели Facebook. Для нас это не совсем интуитивно, потому что в России все, пожалуй, с точностью до наоборот. Но надо понимать, что разработчики Altmetric в большей степени ориентировались на западные страны.

— Среди источников вы упомянули политические и правовые документы. Что это под собой подразумевает? Каким образом научная статья или пресс-релиз вообще может попасть в политический документ?

— Правовые или политические документы – это различные отчеты ООН, ЮНЕСКО или, к примеру, документы, размещенные на всяких правительственных сайтах типа gov.uk.

На научные публикации часто ссылаются в правительственных отчетах по разным областям науки, будь то нанотехнологии, генная инженерия или что угодно. Скажем, если это какой-нибудь отчет по климату, то там обязательно будет часть, посвященная обзору доказательной базы, где могут оказаться ссылки на научные публикации.

— Вы отдельно анализируете внимание аудитории Twitter к российской науке, не затрагивая более популярный в России Facebook (он тоже есть в числе источников для Altmetric Score) и не анализируя еще более популярные социальные сети Вконтакте и Одноклассники, аудитория каждой из которых минимум в три раза больше аудитории Twitter. Насколько показателен в свете этого ваш анализ?

— Altmetric не мониторит ни Вконтакте, ни Одноклассники, поэтому мы в любом случае не смогли бы включить их в анализ. Сейчас мы сами (уже не на базе Altmetric) проводим похожее исследование в сотрудничестве с коллегами из ВК – смотрим на упоминаемость публикаций с российской аффилиацией в ВК. Но эти результаты появятся позже. Что касается Facebook, то он есть в мониторинге Altmetric, но по большинству вузов упоминаемость там была довольно скромной, так что сравнивать было нечего.

Twitter же за последние годы стал одним из самых мощных инструментов коммуникации ученых на Западе, так что было интересно посмотреть, насколько исследования с российской аффилиацией также проходят по этому каналу коммуникации. Более того, у большинства вузов была хоть какая-то Twitter-активность, достаточная для сравнительного анализа.

— Есть ли тогда какая-то альтернативная платформа для оценки упоминаемости, в которую можно было бы включить значимые именно для России источники публикаций? Кроме означенных социальных сетей это и РИА, и ТАСС, и другие крупные СМИ, которые достаточно много пишут о науке. О том, какая у них аудитория, говорить не буду, — это и так понятно.

— Такой национальной платформы не существует. На самом деле, нет никакой проблемы с тем, чтобы включить РИА или ТАСС в мониторинг Altmetric, скорее всего британские коллеги это уже сделали. А вот с другими источниками, релевантными только для России, сложнее.

— Вы рассматриваете онлайн-упоминаемость научных публикаций только российских университетов. Почему из фокуса исследования исключены институты РАН?

— Для того, чтобы получить данные по вузам, нам пришлось прогнать через Altmetric более 250 000 публикаций. Анализ такого объема статей занимает много времени и сил, поэтому мы решили пока ограничиться вузами. Аналогичный анализ по институтам может и должен стать предметом отдельного исследования. В остальном я согласен, что сопоставить онлайн-упоминаемость вузов и институтов было бы довольно любопытно.

— Так это все вручную делается, не автоматически?

— Отчасти. Дело в том, что библиографические данные по вузам, в том числе DOI публикаций, мы выгружали через профили вузов в Scopus. Эта база данных дает широкие возможности для анализа публикационной активности, но при этом Scopus ограничивает размер единоразовой выгрузки до 20 000 публикаций. Кроме того, нам нужно было проверить каждый организационный профиль в Scopus по всем 100 вузам, чтобы убедиться, что при выгрузке в данные не закрались ошибки.

DOI — Digital object identifier, цифровой идентификатор объекта — стандарт обозначения для представленной в Интернете информации об объекте, в англоязычной научной среде этот стандарт принят для обмена данными между учеными, в частности для опубликованных в Интернете научных статей.

Indicator.Ru, Справка

Затем весь массив DOI по каждому вузу прогоняется через интерфейс Altmetric. После этого данные необходимо чистить, сортировать по датам и источникам упоминаний. Работа, на самом деле, колоссальная и даже коллеги из британского офиса Altmetric очень сильно удивлялись, что мы взялись за анализ такого огромного массива.

— Давайте поговорим о представленных в исследовании графиках. На первом из них вы сравниваете МГУ, СПбГУ, все вузы проекта «5-100» и все остальные вузы из топ-100 Национального рейтинга университетов. При этом показатели 21 вуза «5-100» выглядят лучше всех.

7b909c53f70f13bba791daa0eb7c0f1f176f3a28 

Результаты сопоставления Altmetric Score для МГУ, СПбГУ, вузов-участников проекта «5-100» и остальных вузов топ-100 Национального рейтинга университетов / Игорь Осипов et al.

Насколько корректно сравнивать на одном графике и результаты одного вуза, даже такого как МГУ или СПбГУ, и суммарно двадцати одного? Ведь глядя на такой график, зритель, который не будет сильно вникать в описание, легко может ошибиться: ему покажется, что вузы «5-100» намного успешнее МГУ и СПбГУ. Хотя если взять среднюю цифру по «5-100» и по не-«5-100», картина будет совершенно иная.

— В обратном случае нам пришлось бы объединять МГУ и СПбГУ с группой вузов, которые не входят в 5-100, что очень сильно исказило бы картинку. Более того, мне кажется довольно показательным тот факт, что МГУ и СПбГУ по отдельности сопоставимы по активности с десятками ведущих вузов – довольно серьезный разрыв.

Усредненные показатели можно было использовать, но с ними получилась бы аналогичная проблема. Тогда невнимательный читатель может подумать, что вузы 5-100 в совокупности еле поспевают за МГУ и СПбГУ, что совсем не так. Тут, на мой взгляд, интереснее посмотреть на абсолютные показатели, тем более что вузы 5-100 в некотором смысле воспринимаются как единая сила в российской науке, этакий драйвер трансформации науки в университетах страны. Безусловно, мы не хотим никого вводить в заблуждение.

— Но почему вы решили на первом графике группировать вузы, а не рассматривать их по отдельности?

Мы рассматриваем по отдельности вузы первой и второй волны Проекта 5-100, с остальными вузами нам это было в меньшей степени интересно. Кроме того, сравнить 70 вузов на одном временном графике было бы затруднительно, даже с 15 вузами первой волны 5-100 приходится сильно всматриваться, чтобы понять, кто есть кто.

 article_2018_1.jpg

article_2018_3.jpg 

Результаты сопоставления Altmetric Score среди 15 вузов первой волны проекта «5-100». / Игорь Осипов et al.

— Можно использовать ваши данные для того, чтобы анализировать, насколько хорошо пресс-службы вузов «5-100» выполняют свою работу без ручной их корректировки?

— Можно, но делать это нужно осторожно. В исследовании мы пишем о том, что работа пресс-службы – это лишь один из факторов, который влияет на альтметрики, наряду с публикационной активностью и международной деятельностью. Наш анализ позволяет сделать срез по упоминаемости публикаций российских вузов, но выводы о работе их пресс-служб нужно делать очень внимательно. Знакомство, пускай даже поверхностное, с каждым конкретным вузом помогает в этом.

— В вашем исследовании есть раздел «Анализ ключевых сообщений», в котором вы оцениваете каждый вуз проекта «5-100» по отдельности, при этом исключая из выборки публикации без «прозрачного и очевидного упоминания самого университета». Что показывает этот раздел? Ведь любое СМИ или любой блогер (не говоря уже о правовых и политических документах) может легко убрать упоминание университета из своей публикации, даже воспользовавшись пресс-релизом, который подготовил вуз.

— В Altmetric можно посмотреть все новостные сообщения с упоминанием той или иной научной публикации. При таком ручном анализе становится довольно очевидным, где есть вклад пресс-службы, а где его нет. Скажем, если мы находили в списке новостей пресс-релиз на EurekAlert! (крупнейшем международном агрегаторе научных пресс-релизов), который исходил от российского вуза, мы сразу понимали, что этот вуз был инициатором коммуникации. Мне кажется, что случаи, когда СМИ получает релиз от вуза и решает вообще не упоминать его в материале, происходят достаточно редко, чтобы ими можно было пренебречь.

— Почему, несмотря на заявленные в заглавии исследования «российские университеты» вообще, вы особое внимание уделяете именно университетам проекта «5-100»? Вы рассматриваете отдельно каждый из них, обходя вниманием и СПбГУ, и МГУ, которые тоже заслуживают анализа и оценки. И в выводах вы их тоже почему-то не упоминаете.

— Большинство из этих вузов мы хорошо знаем, поэтому нам было проще анализировать их и делать какие-то выводы. СПбГУ и МГУ очень сильно выбиваются по суммарному количеству научных публикаций и международных коллабораций (да и вообще занимают особое положение в российской науке и образовании), в связи с чем сравнивать их напрямую с вузами 5-100 довольно затруднительно. Но в целом я согласен: безусловно, они также заслуживают внимания.

Автор: Наиль Фарукшин

Похожие новости

  • 21/05/2016

    Андрей Гуртов: «В России очень талантливые специалисты, с которыми приятно сотрудничать»

    ​На факультете информационных технологий НГУ в рамках Дня открытых дверей для поступающих в магистратуру и аспирантуру ФИТ с лекцией выступил адъюнкт-профессор Университета Аалто (Хельсинки) Андрей Гуртов.
    924
  • 12/12/2016

    Станислав Смирнов: «Индекс Хирша в математике не аргумент»

    Интервью с лауреатом премии Филдса, профессором Женевского университета, зав. лабораторией СПбГУ Станиславом Смирновым. Беседовала Наталия Демина. — Сейчас, особенно после выборов в РАН, идет много разговоров о размере индекса Хирша у избранных и неизбранных.
    1023
  • 17/10/2016

    Проректор по науке СФУ Сергей Верховец: мы трезво оцениваем свои силы

    Проректор по науке и международному сотрудничеству СФУ Сергей Верховец — о том, как университет стал участвовать в борьбе за позиции в рейтингах еще до официального членства в программы «5–100». – СФУ на сегодня — самый «молодой» из сибирских участников программы «5–100».
    1108
  • 20/02/2018

    Ольга Васильева - о диссертационных советах, проблемах с зарплатами и разработке проекта «Цифровая школа»

    Глава Минобрнауки Ольга Васильева рассказала РБК о работе министерства по предотвращению нападений в школах, о проблемах с зарплатами педагогов и о разработке проекта «Цифровая школа». — В декабре 2017 года премьер-министр Дмитрий Медведев анонсировал запуск нового приоритетного проекта правительства — «Цифровая школа».
    593
  • 02/07/2018

    Интервью с ректором АлтГУ Сергеем Землюковым

    ​Алтайский госуниверситет впервые вошел в рейтинг исследовательского центра QS Quacquarelli Symonds. Всего в перечень попали тысяча лучших университетов мира. Из них - 27 российских. Это не единственное достижение классического вуза в 2018-ом.
    100
  • 04/08/2016

    Школа в горах и детекторы для CERN: ТГУ набирает вес в рейтингах

    ​Томский государственный университет (ТГУ) улучшил свои позиции в российских и международных рейтингах, опубликованных с начала 2016 года. Проректор вуза по сетевой информационной деятельности Владимир Демкин рассказал, благодаря чему ТГУ продвигается к мировому топ-100 и как абстрактные, казалось бы, рейтинги отражаются на реальной жизни университета.
    858
  • 19/05/2016

    Денис Адамов: наше агентство - в числе «Крупнейших переводческих компаний России-2016»

    ​Семь лет назад трое студентов, будущие юристы, решили заняться переводческим бизнесом. Сейчас глава агентства переводов — Денис Адамов — управляет совместным бизнесом самостоятельно, несмотря на ограничения, связанные со здоровьем.
    1296
  • 29/01/2018

    Каким будет университет будущего в 2035 году: интервью члена Наблюдательного совета «Университета 20.35» Нины Яныкиной

    ​Чем «университет будущего» отличается от привычных онлайн-курсов, почему ему предстоит пройти через период отторжения со стороны общества и как искусственный интеллект поможет людям адаптироваться к нуждам современной экономики, Indicator.
    383
  • 31/08/2016

    Какие профессии станут самыми востребованными?

    1 сентября в вузы придут около 5 млн студентов. Из них 304 тысячи поступили в этом году на бюджетные места в специалитет и бакалавриат. 64 процента этих мест получили будущие инженеры, педагоги, медики.
    1236
  • 22/12/2016

    Дмитрий Зыков о первых стартапах и мотивации в науке

    ​«Чердак» поговорил с доцентом кафедры комплексной информационной безопасности электронно-вычислительных систем Томского университета систем управления и радиоэлектроники (ТУСУР) Дмитрием Зыковым о первых стартапах, вузе оксфордского типа и мотивации в науке.
    823