Цитируемость ведущих публикаций 2016 г. по альтметрикам

Я настолько давно ничего здесь не писал, что даже представители конкурентов уже подходят на конференциях и спрашивают: в чём дело? Отвечаю: последние несколько месяцев я вручную перебирал 1400 высокоцитируемых публикаций российских авторов, чтобы наградить лучших из них на нашей ежегодной церемонии, которая прошла в позапрошлый четверг. Безумно приятно было презентовать нашу глобальную методологию определения высокоцитируемых авторов, перенесённую на Россию, чтобы в масштабах страны найти тех, кто публикует наиболее важные для сегодняшней мировой науки результаты исследований, ещё приятнее - лично жать руки лауреатам, нашедшим время для того, чтобы приехать на церемонию.

Исправляюсь. Вот, например, вышел позавчера список 100 самых громких научных публикаций 2016 года по показателю альтметрик. Замечательная презентация результатов: хочешь - читай публикации, хочешь - смотри картинки или показатели альтметрик, хочешь - фильтруй как вздумается, а хочешь - скачай исходные данные и анализируй. Ну что, давайте развлечёмся:

(Если вы пока не работали с расширенным поиском в Web of Science - смело прокручивайте вниз до "У нас получился список")

1. Скачиваем файл для анализа топ-100 публикаций по альметрикам (Read More About This List => Get the Top 100 Dataset)
2. Открываем его в Excel, находим столбец с DOI
3. Сразу же справа от столбца DOI делаем пустую колонку, в каждую ячейку в этой колонке, кроме самой нижней, вносим слово OR.
4. Выделяем оба столбца - DOI и с OR - и копируем их в буфер обмена (CTRL+C)
5. Открываем Web of Science Core Collection, пишем в окне Advanced Search: DO=( , дальше жмём CTRL+V и в конце скопированного запроса добавляем закрывающуюся скобку - ). Мы только что сделали запрос по 100 DOI документов-лидеров по альтметрикам в 2016м году.
6. Жмём "Search"
7. ?????????
8. PROFIT!!

У нас получился список из 81-й работы, индексируемой Web of Science Core Collection, с их показателями цитруемости. Легко видеть, что многие из них (как, например, лидирующая по альтметрикам публикация Барака Обамы в Journal of American Medical Association), хоть и цитируются в Web of Science, но не особенно активно, а некоторые - точно так же удостоены титула "высокоцитируемые работы" - напомню, это публикации, входящие в 1% самых цитируемых в своей предметной области. Таких по состоянию на сегодняшний день 20.

Увы, всего одна работа из этого списка была опубликована при участии российских авторов: это Observation of Gravitational Waves from a Binary Black Hole Merger, над которой трудились 1,01 килоавтора из сразу двух крупных коллабораций по астрофизике, из них 8 авторов - с физического факультета МГУ и ещё трое - из Института прикладной физики РАН в Нижнем Новгороде.

Зависимость между альтметриками 2016 года и показателями цитируемости очень слабая, с коэффициентом корреляции около 0,25. Для нашего случая это даже довольно много, учитывая, что показатели альтметрик - например, количество твитов или репостов в соцсетях и т.д. - могут начинать расти практически сразу после выхода публикации, в то время как цитирующие статьи надо сначала написать, затем - опубликовать (а перед написанием цитирующей статьи неплохо было бы ещё и провести собственно исследование). О взаимосвязи между показателями цитируемости и альтметриками есть десятки научных публикаций, и вот, простите за рекурсивность, ссылка на самую цитируемую из них. Давайте лучше посмотрим, у каких публикаций совпали высокие показатели альтметрик и цитируемости, картинка ниже увеличивается при нажатии.

Что сразу бросается в глаза - это количество публикаций о вирусе Зика, а также то, что та самая публикация по астрофизике с участием российских авторов оказывается на первом месте.

Теперь - выборочно четыре из четырнадцати публикаций, которые по альтметрикам оказались в топ-100, но до сегодняшнего дня в Web of Science Core Collection не были процитированы ни разу - комментировать не буду, заголовки говорят сами за себя:

Признаюсь, я не очень активно интересовался альтметриками до этого, но после такого вот несложного наблюдения напрашивается следующий вывод: если цитируемость публикации указывает на её важность, авторитетность и влиятельность именно в научных кругах, то альтметрики, помимо весьма приблизительной оценки востребованности публикации научным сообществом, дают также картину популяризации результатов исследования. Это - очень и очень хорошо, учитывая, что недопопуляризация - одна из основных проблем сегодняшней науки, наравне со сложностями её финансирования, рецензирования научных публикаций, бюрократизацией и некоторых других трудностей, если судить по результатам опроса учёных, сделанного три месяца назад порталом The Vox.

Российские журналы в Journal Citation Reports'2016

Пару недель назад вышла очередная ежегодная редакция Journal Citation Reports, где доступны свежие импакт-факторы научных журналов, индексируемых в Web of Science Core Collection. Становится традицией, что каждый год я делюсь интересными наблюдениями о том, что происходит там с импакт-факторами российских журналов.

Количество российских изданий, имеющих заветный показатель, на этот раз уменьшилось на один. По сути, это гораздо больше связано со сменами журналами своих прописок (например, Laser Physics и Laser Physics Letters, которые, насколько я понимаю, перешли под крыло IOP и теперь считаются скорее английскими). Новичок из России в этом году один - это Russian Journal of Herpetology, который издаётся с 1993 года и индексируется в Web of Science Core Collection с начала 2013 г.

Два издания, сильнее всех прибавивших в плане импакт-фактора - это Russian Chemical Reviews, переводная версия "Успехов Химии" (было 2,318, стало аж 3,678), и уже упоминавшийся в прошлогоднем обзоре Acta Naturae (было 1, стало 1,77).

Много это или мало? Само по себе значение импакт-фактора мало о чём говорит, ведь если в области клеточной биологии импакт-фактор, равный трём - это журнал довольно средний, то в области, например, прикладной математики существуют всего два издания с импакт-фактором 3. Именно поэтому гораздо важнее позиция, которую занимает журнал в своей предметной области - или, говоря более грубо, в какой квартиль по импакт-фактору в своей области знания он входит.

Учитывая вышесказанное, довольно эфемерное выражение "журнал с высоким импакт-фактором" обретает куда больший смысл, если уточнить: "журнал, входящий в первый квартиль по импакт-фактору в своей предметной области". Тут есть чёткие значения для каждой предметной области, все они рассчитываются в Journal Citation Reports, и таких изданий первого квартиля в России всего три:

Три ведущих российских научных журнала, входящих в первый квартиль
по импакт-фактору в своих предметных областях

Что ещё заметно по российской научной периодике в Web of Science - это то, что абсолютное большинство публикаций сделано собственно российскими учёными. Вот визуализация страновой принадлежности организаций, чьи авторы публиковались в десяти ведущих (опять же, по импакт-фактору) российских журналах за последние 5 лет, все изображения, как обычно, увеличиваются по клику:

Страновая принадлежность авторов публикаций
в десяти ведущих российских журналах за последние 5 лет.
Визуализация из Thomson Reuters InCites

Нет, было бы странно, если бы на первом месте по публикационной активности в отечественных журналах были американцы или французы, но посмотрите, к примеру, на аналогичную разбивку по страновой принадлежности авторов у одного из ведущих китайских журналов Light-Science and Applications (импакт-фактор 13,6 - это второе место среди 90 журналов по оптике в Web of Science) - заметно, что процент иностранных авторов и соавторов значительно выше:

Страновая принадлежность авторов публикаций
в журнале Light-Science and Applications за последние 5 лет.
Визуализация из Thomson Reuters InCites

Тут надо заметить, что проблемы, похожие на наши - засилье публикаций учёных своей страны в национальных журналах - есть и в Бразилии, правда, для ведущих бразильских изданий эта проблема всё же стоит не так остро.

В разделе "лёгкие здорового человка" я не буду мучать вас аналогичной разбивкой по журналам Nature, Science или PLoS One, давайте лучше посмотрим на Tetrahedron, просто сильный журнал второго квартиля по органической химии с импакт-фактором 2.645:

Страновая принадлежность авторов публикаций
в журнале Tetrahedron за последние 5 лет.
Визуализация из Thomson Reuters InCites

Этим я хочу показать, что фокус на интернационализацию авторского состава - это одна из возможных стратегий для российских журналов, желающих качественно поднять себе импакт-фактор. Больший приток публикаций от иностранных авторов - это возможность более строгого отбора материалов, который, в свою очередь, должен повысить качество статей, попадающих на страницы журнала - а это уже бОльшие аудитории, дополнительные цитирования, новые подписки среди иностранных научных организаций - и, как следствие, рост импакт-фактора и престижа журнала.

На всякий случай, обзоры предыдущих лет:
2015
2014

Эффективность VS формализм в управлении научными исследованиями

Если вы уже какое-то время читаете этот блог, то наверняка знаете, что такое средняя цитируемость, нормализованная по предметной области относительно среднемирового уровня (category normalized citation impact, CNCI). Есть ещё один интересный показатель, о котором я до сих пор особенно не рассказывал - это средняя цитируемость, нормализованная по журналу (journal normalized citation impact, JNCI). Он показывает, насколько лучше или хуже, чем в среднем по журналу (а не по миру, как CNCI), цитируется научная публикация.

Сам по себе индикатор JNCI мало о чём говорит, но как дополнение к показателю CNCI он позволяет понять, в тех ли журналах публикуется рассматриваемый автор или организация. Ещё 5 лет назад мы обратили внимание на тот факт, что для абсолютного большинства российских научных организаций показатель CNCI существенно ниже единицы, которая и является среднемировым уровнем, а вот тот же показатель, но на уровне журнала - вполне на среднем уровне или даже выше него, все картинки кликабельны.

Показатели CNCI (единица - среднемировой уровень) и JCNI
(единица - средний уровень по журналу) у десяти наиболее
активно публикующихся российских организаций в период
с 2005 по 2014 гг. Скриншот из InCites

О чём это говорит? О том, что проблема низкой цитируемости российской науки (а тот же показатель CNCI для России в целом за последние 10 лет равен 0,65 - то есть, на 35% ниже среднемирового значения, - и по нему мы занимаем 136-е место среди 143х стран, которые
опубликовали за эти 10 лет хотя бы 1000 работ) - это результат не низкого качества самих публикаций. Проблема, как следует из этих наблюдений - в журналах, и если понимать, сколько человек во всём мире читает научную периодику, в которой больше всего любят публиковаться российские авторы, то прослеживается достаточно явная связь между размером аудитории журнала и цитируемостью работ.

Теперь перейдём к чуть более сложным вещам. В 2014м году на конференции Science Online заместитель директора библиотеки ВШЭ и по совместительству один из лучших наукометристов в России Владимир Писляков представил идеальный способ визуализации описанного выше наблюдения: мы можем отложить на графике значения JNCI на одной оси, а значения CNCI - на другой.

Получается вот такой красивый график. Поместить на него мы теперь можем всё, что угодно - индивидуальные публикации, средние значения этих показателей для конкретных авторов, университетов или даже стран. Биссектриса здесь делит график на две части и буквально показывает, где цитируемость, нормализованная по журналу, равна цитируемости, нормализованной по предметной области: сильное отклонение от неё вниз и вправо будет с высокой вероятностью говорить о том, что низкоимпактовый журнал "тянет" цитируемость публикаций вниз, сильное отклонение вверх и влево - о том, что автору повезло опубликовать статью в журнале, уровень которого сильно превышает уровень статьи, и таким образом поддерживает её цитируемость. Давайте попробуем отложить на этом графике российские научные организации.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся российских университетов. Источник:
Thomson Reuters InCites

Это - российские университеты, размер кружка - количество публикаций. Здесь и далее окно публикационной активности взято с 2005го по 2014й год. Как видно, основная масса оказывается именно снизу-справа от биссектрисы, то есть - публикуются преимущественно в низкоимпактовых журналах, и абсолютное большинство из университетов в целом цитируется хуже среднемирового уровня. Самый большой кружок - это, разумеется, МГУ, у трёх ВУЗов - МИФИ, СФУ и ВШЭ - ситуация с цитируемостью оказалась даже лучше среднемировой.

Теперь давайте посмотрим на российские исследовательские институты.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся исследовательских институтов. Источник:
Thomson Reuters InCites

С институтами ситуация очень похожая - здесь абсолютно все проявили себя на уровне журнала лучше, чем в мировом масштабе.

Что мы увидим у ведущих мировых научных организаций? Тут, как видите, пришлось продолжить ось CNCI вверх, чтобы Гарвард и MIT уместились на графике. С ними всё понятно - публикуются в лучших журналах, да ещё и на фоне самих журналов отлично выглядят.

Соотношение нормализованной цитируемости у
ведущих мировых университетов. Источник:
Thomson Reuters InCites

Интересная картина - у лидеров оставшейся части BRIC, исключая Россию. Обратите внимание, что масштаб диаграммы другой, её пришлось увеличить, чтобы разглядеть, поскольку все организации - довольно близко к центру. Видно, что университет Сан-Паулу смотрится чуть хуже других, но, на самом деле, несильно отклоняется от биссектрисы.

Соотношение нормализованной цитируемости у ведущих научных
организаций BRIC. Источник: Thomson Reuters InCites

Это было сравнение организаций. Очевидно, что более высокорейтинговые почему-то действительно оказываются выше и немного левее на графике. А вот теперь действительно интересные вещи. Что будет, если взять одну конкретную научную организацию и отложить на такой же диаграмме все их публикации в разбивке по журналам?

Начнём, пожалуй, с Университета Лобачевского - тем более что Евгений Владимирович Чупрунов, ректор Университета, на семинаре проекта "5top100" в Нижнем Новгороде в сентябре прошлого года сказал: "У нас рост публикационной активности происходит за счёт хороших журналов с хорошим импакт-фактором", - что было просто музыкой для моих ушей. Напомню, окно публикационной активности ограничено 2005м-2014м годами, то есть, периодом до того, как Евгений Владимирович озвучил это заявление.

Соотношение нормализованной цитируемости у Университета
Лобачевского. Источник: Thomson Reuters InCites

Цифры в скобках - это место, которое журнал занимает по импакт-фактору среди остальных изданий в своей предметной области. К сожалению, видно огромное количество хороших публикаций, которым мировой научное сообщество уделило очень мало внимания, и пара высокоимпактовых жуналов - увы, только по физике - в которых публикации цитировались слабо по меркам журнала и сильно по меркам всего мира. Давайте посмотрим на какой-нибудь академический институт - например, Институт Теоретической Физики им. Ландау:

Соотношение нормализованной цитируемости у ИТФ им. Ландау.
Источник: Thomson Reuters InCites

Снова прекрасно видно, что чем выше в своей предметной области журнал по импакт-фактору - тем лучше цитируются работы, и приятно видеть, что удачный выбор журналов (и, безусловно, ценнейшие результаты научных исследований) не ограничиваются сериями Physical Review/Physical Letters. Остались сомнения? Давайте посмотрим на лёгкие здорового человека аналогичную диаграмму для шести самых популярных журналов в Гарварде:

Соотношение нормализованной цитируемости у Гарварда. Источник:

Thomson Reuters InCItes.

Ну и какие выводы из этого мы делаем.

Первый: формализм в управлении научными исследованиями - плохо. Призывы "публиковаться только в индексируемых ведущими международными базами данных изданиях" - и особенно оценка деятельности по валу таких публикаций - заставляет многих учёных выбирать путь наименьшего сопротивления и публиковаться там, где проще, но при этом аудитория у таких изданий составляет не более тысячи человек. Это действительно увеличивает публикационную активность, но снижает цитируемость, по которой у России дела обстоят и вправду плохо.

Второй: решение "Мы добавим 5 наших журналов в ведущие международные базы данных" - верный способ потерять драгоценное время, и к 2020му году не то что не попасть ни в какие рейтинги, а испортить себе все основные показатели, связанные с цитируемостью. Оставьте инициативы по продвижению журналов редакциям самих журналов.

Третий: любая инициатива, смещающая акцент в управлении научными исследованиями с более активного и креативного продвижения научных результатов (которым, как правило, является научная публикация) на агрессивное продвижение научных журналов, гарантированно затягивает цитируемость научных исследований вот в этот квадрант:

Отдельное спасибо за подготовку этого материала моему коллеге и другу Сергею Парамонову, который уже добавил эту методологию к тем консалтинговым проектам, которые он реализовывает для российских организаций.

Russian Science Citation Index

Ежедневно мы получаем огромное количество писем с вопросами о нашей новой базе данных Russian Science Citation Index, а это значит, что самое время написать отдельный текст с ответом на основные из них.

Зачем вообще понадобилась новая база данных?

Во-первых, для того, чтобы у нас с вами появилась возможность оценивать российскую науку по ещё более репрезентативной выборке. В нашей центральной базе данных Web of Science Core Collection критерии отбора журналов настолько жёсткие, что сейчас им отвечает порядка 160и российских журналов. Существует эта политика отбора в первую очередь для того, чтобы по цитируемости в принципе можно было оценивать науку - иначе как можно оценить влиятельность научной статьи, если одно цитирование на неё идёт из Nature, а остальные десять - из условного "Вестника N-ского Гуманитарно-Строительного Университета"?

Разумеется, наукометрический анализ необходимо проводить по достаточно однородному массиву данных. Web of Science Core Collection, таким образом, формирует высшую лигу мировых журналов, а база Russian Science Citation Index - "первую", в которой собраны журналы, прошедшие хорошо продуманную трёхэтапную (третьим этапом было публичное обсуждение итоговых списков) процедуру отбора, организованную Научной Электронной Библиотекой eLibrary.ru - и, вдобавок, чуть лучше покрывающие отдельные предметные области в России.

Во-вторых, новая база нужна для продвижения успехов российской науки за рубежом. Количество пользователей Web of Science во всём мире уже превышает 30 миллионов, и теперь каждый из них может при поиске находить публикации из Russian Science Citation Index - даже если поиск был сделан на английском языке, поскольку данные каждой публикации дублируются на английском и русском:

Таким образом, любой научный сотрудник, организация или издательство, пока не представленные в Web of Science Core Collection или представленные там скромно, могут использовать Russian Science Citation Index и для того, чтобы доказать важность своих научных результатов, и для того, чтобы более активно информировать о них мировую научную общественность.

У нас был доступ до конца февраля 2016 года, а потом пропал. Когда вы включите его обратно?

С декабря по февраль мы действительно открывали в России всем подписчикам Web of Science доступ к новой базе данных - даже не на бесплатный тест, в общепринятом понимании подписных баз данных, а на вариант бета-тестирования, чтобы собрать информацию о возможных проблемах и ошибках, исправить их и быть готовыми к запуску базы во всём мире в конце марта. Сам же доступ предоставляется за куда меньшую, чем у Web of Science Core Collection, но абонентскую плату.

Что это за дискриминация?

Тоже очень правильный вопрос: почему Thomson Reuters предлагает подписку на Russian Science Citation Index в России за деньги? Действительно, большинство региональных указателей устроены совсем по-другому: либо на весь мир они открываются бесплатно (как Korean Citation Index или латиноамериканская база SCIELO), либо для самой страны она делается доступной бесплатно, а для остального мира - за абонентскую плату (как в случае с Chinese Science Citation Database).

Здесь надо оговориться, что проекты региональных указателей цитирования, как правило, инициируются локальными организациями - например, в Китае это была местная Академия Наук - они же и финансируют проект создания базы. В России найти спонсора подобного проекта нам, к сожалению, не удалось, и мы пошли на некоторый риск, профинансировав разработку базы данных из средств Thomson Reuters, а поскольку мы - компания коммерческая, подобные затраты нам необходимо хотя бы в минимальном виде окупать.

Тогда почему же, спросит внимательный читатель, мы сделали базу данных бесплатной для остального мира? Это было нужно для того, чтобы выполнить вторую задачу проекта - продвижение российских научных результатов в мировое научное сообщество, а для этого важно, чтобы и у профессора в Токио, и у аспиранта в Сан-Паулу, и у проректора в Париже этот доступ появился без необходимости каких-либо дополнительных телодвижений.

Я нашёл в базе данных неточность. Кому об этом сообщить?

Правильнее всего будет обратиться в нашу службу поддержки, сделать это можно прямо из интерфейса Web of Science, воспользовавшись функцией "Suggest a correction" (в русском варианте - "Предложить поправку"):

Где взять список журналов Russian Science Citation Index?

Самый свежий список на момент написания этого текста находится по этой ссылке

У меня остались вопросы. Кому написать?

Напишите мне, адрес моей электронной почты - вверху страницы.