Анализ российских исследовательских институтов в InCites

К концу прошлого года данные по ведущим российским университетам в Web of Science были приведены в порядок, и мы решили наконец-то взяться за академические - и не очень - институты, начав с тех, кто публикует как минимум 200 статей в Web of Science Core Collection каждый год. С марта этого года выверенные данные по российским институтам доступны как в Web of Science, так и в InCites. И вот что по ним видно.

Сверху мы видим treemap (не нашёл русского перевода этого вида инфографики) десяти российских организаций, опубликовавших наибольшее количество результатов научных исследований в Web of Science за последние 20 лет, снизу - таблицу пяти ведущих организаций, содержащую, помимо показателей публикационной активности за это время, следующие индикаторы:

• нормализованной средней цитируемости этих статей;
• количества высокоцитируемых публикаций, написанных при участии сотрудников этих организаций;
• и процента публикаций, созданных в международном соавторстве.

Для наглядности я убрал из этих отчётов РАН и РАМН как головные организации, включающие в себя данные всех входящих в них институтов: во-первых, сами по себе РАН и РАМН статьи не пишут, во-вторых, на фоне РАН было бы плохо видно отдельные входящие в неё институты, в-третьих, у нас уже полтора года как ФАНО.

В итоге, практически ничего неожиданного обнаружить не удалось - несмотря на то, что МГУ публикует куда меньше работ, чем вся РАН вместе взятая, его публикационная активность гораздо выше, чем у любой из специализированных исследовательских организаций по отдельности, что полностью коррелирует с масштабом учреждений. Показатель нормализованного среднего цитирования же позволяет оценить качество исследований вне зависимости от размеров организаций. На картинке ниже приведены 11 институтов, опубликовавших за последние 20 лет хотя бы 3000 работ в Web of Science, и их нормализованная средняя цитируемость за этот период.

11 российских институтов, опубликовавших на последние 20 лет как минимум 3000 работ в Web of Science и лидирующих внутри страны по показателю нормализованной средней цитируемости этих работ. Единица - среднемировой уровень.

Можно и нужно радоваться за все институты, чьё цитирование оказалось выше среднего по России (0,53) за это время, и тем более - выше среднемирового уровня, но надо понимать, что большинство лидеров, в частности, Институт Физики Высоких Энергий, ПИЯФ, ИТЭФ, Объединённый Институт Ядерных Исследований, Курчатовский Институт и ФИАН - активные участники масштабных исследовательских проектов ЦЕРНа, про высокую цитируемость которых я писал здесь, правда, на тот момент применительно к универеситетам. Таким образом, вопрос "какой же институт в России цитируется хорошо кроме тех, что участвуют в исследованиях на Большом Адронном Коллайдере?" нас волновал с прошлого года, и мы с нескрываемой радостью нашли в этом списке Институт Теоретической Физики им. Ландау с показателем нормализованной цитируемости за последние 20 лет, равным 1,16 - то есть, на 16% выше среднемирового уровня, а также выше, чем у двух завсегдатаев Большого Адронного Коллайдера - Курчатовского Института и ФИАНа.

Нормализованная средняя цитируемость статей ИТФ им. Ландау в динамике. Единица - среднемировой уровень

К сожалению, высокие показатели цитируемости были у ИТФ им. Ландау где-то до 2008 года, после чего цитируемость статей института, стала, как и у большинства остальных в России, ниже среднемирового уровня, поэтому если мы посмотрим на тот же показатель не за 20, а за 10 или 5 лет - он будет скромнее, но сам факт того, что российские организации могут публиковать стабильно большое число высокоцитируемых исследований - это само по себе замечательно.

Отдельной группой здесь следует выделить химические институты - их много, они довольно активно, по российским меркам, публикуются, но, к сожалению, выделить из них какой-то один, который регулярно цитировался бы, например, на уровне Otto Hahn Institut из Общества Макса Планка, пока нельзя. В таблице ниже нормализованная средняя цитируемость - это колонка "Country Normalized Citation Impact", колонка Rank показывает место в России по публикационной активности за последние 20 лет.

Показатели публикационной активности, цитируемости, количества высокоцитируемых статей и международного сотрудничества ведущих российских химических институтов

Каждый из этих институтов мы можем рассмотреть в разбивке по предметным областям, журналам, совместным исследовательским проектам и авторам, чтобы понять, где их сильные и слабые стороны и как эти институты развиваются. Если мы найдём что-то особенно интересное по ним - я буду делиться наблюдениями здесь.

Что происходит с цитируемостью российских статей

Самое время отметить, что проблема с публикационной активностью России постепенно решается - пусть не так быстро, как хотелось бы, но второй год подряд мы смотрим в Web of Science и искренне радуемся: количество российских статей непрерывно растёт, и не просто растёт, а обновляет рекорд за рекордом. Наверное, мы радовались бы куда меньше, если бы не замечали столько людей, чьё отношение к библиометрии меняется с пассивного неприятия на "а что, полезная вещь!". Иными словами, с научной производительностью (или, если хотите, с видимостью отечественных исследований международному научному сообществу) дела начинают более-менее налаживаться.

Ежегодное количество публикаций российских учёных в Web of Science Core Collection, данные по состоянию на 13 марта 2015 г.

Окончательные цифры 2014 года мы сможем наблюдать в Web of Science летом, но уже сейчас видно, что количество статей за неполный 2014 год больше, чем за полный 2013й. 

Между тем, про серьёзные подвижки с цитируемостью российских работ говорить пока рано. Россия как плелась в хвосте списка стран по среднему цитированию одной статьи в Essential Science Indicators, так и плетётся по сей день. Вроде и работ за последние 10 лет опубликовано немало, и цитирований на них прилично, но если поделить первое на второе, чтобы оценить эффективность исследований - тут сразу 133-е место из 153-х.

Составление стран по среднему цитированию одной статьи, опубликованной за последние 10- лет. Источник: Essential Science Indicators по состоянию на 13 марта 2015 г.

Я уже неоднократно писал, что одна из ключевых проблем - в выборе журналов для публикации. Одно дело - опубликовать работу в вестнике родной исследовательской организации тиражом в 2000 экземпляров, и совсем другое - например, в New England Journal of Medicine, у которого более 600 000 читателей в 177 странах мира или, чего уж там, Nature, которые ещё 2 года назад оценивали свою онлайн-аудиторию в 3 миллиона уникальных читателей в месяц.

Как недавно было продемонстрировано на уровне университета, фокус на высокоимпактовых журналах может серьёзно повысить цитируемость, и нам ничего не мешает провести то же самое упражнение на уровне России в целом. Вот журналы в Web of Science, в которых российские учёные опубликовали больше всего статей с 2004 по 2013й годы. Как видно, публикации в большинстве из них тянут цитируемость России вниз, на это самое 133е место:

Нормализованная средняя цитируемость публикаций российских авторов, сделанных с 2004 по 2013 год в зависимости от журнала. Сортировка журналов проведена по количеству публикаций в них с российскими аффилиациями. Единица - среднемировой уровень.

А вот - те журналы, публикации российских исследователей в которых, наоборот, цитируются хорошо. По вполне понятным причинам, в списке доминируют Physical Review разных серий, что косвенно указывает на тот факт, что в большинстве предметных областей у нас всё ещё предпочитают публиковаться по принципу "где проще".

Нормализованная средняя цитируемость публикаций российских авторов, сделанных с 2004 по 2013 год в зависимости от журнала, отфильтрованы журналы, в которых за этот период было сделано не менее 1000 публикаций. Единица - среднемировой уровень.

В каждой предметной области журналы уже давно делятся на квартили по импакт-фактору: 25% наиболее уважаемых - в которые тяжелее всего попасть, 25% чуть послабее, но всё равно авторитетных и превосходно цитируемых, плюс ещё два квартиля, в которых шансы статьи быть хорошо процитированной есть, но на них уже негативно влияет меньшая аудитория журнала (которая, как правило, всё равно значительна, иначе что этот журнал делал бы в Web of Science?). Этот подход позволяет понять не только конкретному исследователю, но даже на уровне университета - где стоит публиковаться наиболее активно. Возьмём для примера органическую химию, скриншот из Journal Citation Reports:

Фильтрация журналов по органической химии, только первый квартиль, Journal Citation Reports

Как сотрудник Thomson Reuters, я не имею права сказать: "Перестаньте публиковаться в таких-то и таких-то журналах, а вот эти - наоборот хорошие, несите ваши статьи туда", - это создало бы некоторый конфликт интересов, но когда я слышу фразу "наша организация через 5 лет станет лидером в своей предметной области, ведь мы планируем добавить 8 наших журналов в Web of Science", я всеми силами пытаюсь убедить авторов таких решений подумать ещё раз. Во-первых - не факт, что эти журналы пройдут нашу процедуру отбора. Во вторых - сколько уникальных читателей у этих журналов в месяц? В-третьих - сколько журналов КалТеха или институтов Общества Макса Планка вы находили в Web of Science?

Международные научные проекты российских университетов

Сегодня мы поговорим о международных исследовательских проектах, в которых участвуют российские научные организации. Частично я уже касался этой темы, когда анализировал влияние участия в ЦЕРНовских проектах на цитируемость России в целом - и университетов в частности, но тема куда более глубокая. Чем ещё интересно международное сотрудничество в науке?

Особенность, которую мы с коллегами в Thomson Reuters отмечаем регулярно и по всему миру: результаты международных совместных исследований в среднем цитируются лучше, чем совместные проекты в пределах страны или города. Давайте посмотрим в InCites, что видно конкретно по России, для примера возьмём Томский Политехнический Университет и посмотрим, с кем в России сотрудники ТПУ работали наиболее активно:

Самые популярные российские научные партнёры Томского Политехнического Университета. Число в круге - количество совместных статей с 2004 года.

Как видно, самое большое количество совместных проектов у ТПУ было с институтами РАН и с расположенным буквально через дорогу ТГУ. Как цитировались эти статьи?

Нормализованная средняя цитируемость совместных проектов ТПУ в России. Единица - среднемировой уровень.

При этом, нормализованная средняя цитируемость самого ТПУ за это время составляет 0,38. Интересно, что совместные работы с самым высокоцитируемым российским университетом - НИЯУ МИФИ - оказались самыми низкоцитируемыми из выборки, также интересен тот факт, что ни в одном из кругов мы не видим числа больше единицы, то есть, в среднем все коллаборации ТПУ внутри России цитируются ниже - или кое-где даже существенно ниже - среднемирового уровня. Самыми успешными оказались 14 совместных статей с МГУ.

Теперь международные проекты.

Самые популярные международные научные партнёры Томского Политехнического Университета. Число в круге - количество таких статей с 2004 года.

Тут плотность результатов гораздо выше, но интересно не это. Интересно вот что:

Нормализованная средняя цитируемость международных проектов ТПУ. Единица - среднемировой уровень.

Надо заметить, что не каждый совместный проект с иностранной организацией обречён на высокую цитируемость - ТПУ повезло с партнёрами, в частности - с Университетом Минессоты, центрами Объединения Гельмгольца и Майнцским Университетом Иоганна Гутенберга. И это неплохая идея для дальнейшего развития науки в российских научных организациях: более активная интеграция в международный исследовательский процесс, при которой во главу угла ставится выбор наиболее авторитетных или эффективно работающих институтов и университетов в тех предметных областях, в которых наши организации хорошо себя проявляют и, следовательно, могут быть интересны иностранцам как потенциальные партнёры.

Было бы великолепно, если бы российские организации имели потенциал для совместной работы друг с другом, позволяющий проводить действительно прорывные научные исследования, которые, в свою очередь, потом регулярно попадали бы в списки самых высокоцитируемых работ, но пока сколько-нибудь значительного количества примеров подобного сотрудничества мне обнаружить не удалось.

На всякий случай я ещё раз приведу врезку о том, что такое нормализованная средняя цитируемость, один из важнейших наукометрических показателей, который показывает, хорошо или плохо цитируются научные статьи - и, главное, позволяет сравнивать результаты исследований в разных предметных областях.

2,44%: Февраль 2015

Ну, вот мы и в 2015м году. Напомню, "задача 2,44%" была поставлена как:

"Увеличение к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science), до 2,44 процента."

Вынужден признать, что чем дальше, тем больше трактовок этой задачи мне приходится слышать. Именно поэтому с этого года я решил остановиться всего на одном показателе: я беру общее количество документов из Web of Science Core Collection (на момент выхода указа база называлась просто Web of Science) и выбираю из них только те, на которых в качестве адреса указана Россия, затем делю второе на первое. Получается вот что:

Некоторая часть статей 2014 г. ещё будет добавлена в базу, что означает, что показатель 2014 года снова окажется историческим рекордом. Для сравнения - на эту дату год назад мы имели "всего" 31875 статей 2013 года.

Ровно через месяц мы узнаем, случайным было "проседание" публикационной активности России в феврале 2013 г., или же это ежегодное явление. А пока разбивка по месяцам выглядит следующим образом:

2,44%: Декабрь 2014

Заключительная статистика по 2.44% в этом году.

Декабрь оказался рекордным месяцем в плане публикационной активности с тех пор как мы начали смотреть еженедельные данные по Web of Science, то есть, с марта 2013 года.

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть IV

Заключительный, четвёртый обзор этого года - но он будет продолжен в следующем году, я постараюсь так же публиковать обновления раз в квартал.

Напомню, нас интересуют два показателя университетов: сколько они публикуют (публикационная активность, она же научная производительность) и как всё это потом цитируют во всём мире (цитируемость статей, она же авторитетность, влиятельность или эффективность исследований). Подсчитать первый показатель практически в реальном времени не составит никакого труда, а вот второго надо подождать как минимум пару лет, прежде чем делать какие-то выводы. И тут нам приходят на помощь показатели, по которым правильность или неправильность решений руководства университетов проекта "5-100" о развитии науки в них можно оценить с гораздо меньшей задержкой. Начнём, как водится, с соотношения процитированных и непроцитированных статей 2013 года. 

Соотношение процитированных и непроцитированных работ 2013 года университетов-участников проекта "5-100"

Чтобы было понятно, хорошие это показатели или нет: МГУ - 47,0%, СПБГУ: 46,95%, Россия в целом: 37,17%, Кембридж: 56,48%.

По мере отдаления от даты публикации этот показатель будет уступать в актуальности показателю нормализованного цитирования, так что именно сейчас я впервые попробовал оценить зависимость между этими двумя показателями. График ниже увеличивается при нажатии, зависимость между показателями налицо. Если убрать Высшую Школу Экономики (которая, как я уже не раз писал, активнее других занимается общественными науками, где цитируемость ниже и накапливается дольше), то линейный коэффициент корреляции между этими двумя показателями будет равен 0,83.

Взаимозависимость показателей нормализованной средней цитируемости и соотношения процитированных и непроцитированных работ

Иными словами, по итогам этого года у нас есть четыре университета, чьи статьи в среднем цитируются заметно лучше других, при этом успехи трёх из них - МИФИ, НГУ и МФТИ - мы увидели ещё в первой половине года, а про четвёртый - ВШЭ - сразу сказали, что таким способом не увидим.

Это говорит о том, что, взглянув в марте 2015 года (а это всего через 3 месяца, включая праздники) на аналогичные значения для статей 2014 года, мы с высокой степенью достоверности сможем сделать выводы о цитируемости университетов в этом году. Попробуем уже сейчас провести кое-какие наблюдения, хотя какие-то выводы делать пока и рано:

Соотношение процитированных и непроцитированных работ 2014 года университетов-участников проекта "5-100"

Опять же, как это соотносится с нашими проверочными точками: МГУ - 19,38%, СПБГУ: 16,18%, Россия в целом: 14,22%, Кембридж: 29,57%.

На верхнюю строчку в этом году вырвался МИСИС. Если он окажется на том же месте и через 3 месяца - мы будем присматриваться к нему повнимательнее, поскольку, скорее всего, это уже будет индикатором серьёзного роста цитируемости университета.

Наконец, какие цифры публикационной активности университетов мы увидим в июне 2015 года? В прошлом посте я уже делал достаточно грубый прогноз, теперь я его уточняю. Три университета - Санкт-Петербургский Политехнический, Томский Государственный и НИЯУ МИФИ успели опубликовать за прошедший квартал столько статей, что мне бы надо пересмотреть прогноз, чего я делать принципиально не буду, поскольку должен же я хотя бы раз ошибиться в предсказаниях.

Прогноз итоговых показателей публикационной активности 2014 года университетов-участников проекта "5-100"

2,44%: Ноябрь 2014

Ноябрь прошлого года был рекордным месяцем для России за всё то время, что мы отслеживаем динамику публикационной активности. В ноябре этого года я впервые засомневался, что к середине следующего года рубеж в 36 000 статей по Web of Science будет достигнут.

По абсолютным показателям ситуация выглядит следующим образом:

Статей 2013 года по состоянию на 28 ноября 2013го: 25793
Статей 2014 года по состоянию на 27 ноября 2014го: 25829