Эффективность VS формализм в управлении научными исследованиями

Если вы уже какое-то время читаете этот блог, то наверняка знаете, что такое средняя цитируемость, нормализованная по предметной области относительно среднемирового уровня (category normalized citation impact, CNCI). Есть ещё один интересный показатель, о котором я до сих пор особенно не рассказывал - это средняя цитируемость, нормализованная по журналу (journal normalized citation impact, JNCI). Он показывает, насколько лучше или хуже, чем в среднем по журналу (а не по миру, как CNCI), цитируется научная публикация.

Сам по себе индикатор JNCI мало о чём говорит, но как дополнение к показателю CNCI он позволяет понять, в тех ли журналах публикуется рассматриваемый автор или организация. Ещё 5 лет назад мы обратили внимание на тот факт, что для абсолютного большинства российских научных организаций показатель CNCI существенно ниже единицы, которая и является среднемировым уровнем, а вот тот же показатель, но на уровне журнала - вполне на среднем уровне или даже выше него, все картинки кликабельны.

Показатели CNCI (единица - среднемировой уровень) и JCNI
(единица - средний уровень по журналу) у десяти наиболее
активно публикующихся российских организаций в период
с 2005 по 2014 гг. Скриншот из InCites

О чём это говорит? О том, что проблема низкой цитируемости российской науки (а тот же показатель CNCI для России в целом за последние 10 лет равен 0,65 - то есть, на 35% ниже среднемирового значения, - и по нему мы занимаем 136-е место среди 143х стран, которые
опубликовали за эти 10 лет хотя бы 1000 работ) - это результат не низкого качества самих публикаций. Проблема, как следует из этих наблюдений - в журналах, и если понимать, сколько человек во всём мире читает научную периодику, в которой больше всего любят публиковаться российские авторы, то прослеживается достаточно явная связь между размером аудитории журнала и цитируемостью работ.

Теперь перейдём к чуть более сложным вещам. В 2014м году на конференции Science Online заместитель директора библиотеки ВШЭ и по совместительству один из лучших наукометристов в России Владимир Писляков представил идеальный способ визуализации описанного выше наблюдения: мы можем отложить на графике значения JNCI на одной оси, а значения CNCI - на другой.

Получается вот такой красивый график. Поместить на него мы теперь можем всё, что угодно - индивидуальные публикации, средние значения этих показателей для конкретных авторов, университетов или даже стран. Биссектриса здесь делит график на две части и буквально показывает, где цитируемость, нормализованная по журналу, равна цитируемости, нормализованной по предметной области: сильное отклонение от неё вниз и вправо будет с высокой вероятностью говорить о том, что низкоимпактовый журнал "тянет" цитируемость публикаций вниз, сильное отклонение вверх и влево - о том, что автору повезло опубликовать статью в журнале, уровень которого сильно превышает уровень статьи, и таким образом поддерживает её цитируемость. Давайте попробуем отложить на этом графике российские научные организации.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся российских университетов. Источник:
Thomson Reuters InCites

Это - российские университеты, размер кружка - количество публикаций. Здесь и далее окно публикационной активности взято с 2005го по 2014й год. Как видно, основная масса оказывается именно снизу-справа от биссектрисы, то есть - публикуются преимущественно в низкоимпактовых журналах, и абсолютное большинство из университетов в целом цитируется хуже среднемирового уровня. Самый большой кружок - это, разумеется, МГУ, у трёх ВУЗов - МИФИ, СФУ и ВШЭ - ситуация с цитируемостью оказалась даже лучше среднемировой.

Теперь давайте посмотрим на российские исследовательские институты.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся исследовательских институтов. Источник:
Thomson Reuters InCites

С институтами ситуация очень похожая - здесь абсолютно все проявили себя на уровне журнала лучше, чем в мировом масштабе.

Что мы увидим у ведущих мировых научных организаций? Тут, как видите, пришлось продолжить ось CNCI вверх, чтобы Гарвард и MIT уместились на графике. С ними всё понятно - публикуются в лучших журналах, да ещё и на фоне самих журналов отлично выглядят.

Соотношение нормализованной цитируемости у
ведущих мировых университетов. Источник:
Thomson Reuters InCites

Интересная картина - у лидеров оставшейся части BRIC, исключая Россию. Обратите внимание, что масштаб диаграммы другой, её пришлось увеличить, чтобы разглядеть, поскольку все организации - довольно близко к центру. Видно, что университет Сан-Паулу смотрится чуть хуже других, но, на самом деле, несильно отклоняется от биссектрисы.

Соотношение нормализованной цитируемости у ведущих научных
организаций BRIC. Источник: Thomson Reuters InCites

Это было сравнение организаций. Очевидно, что более высокорейтинговые почему-то действительно оказываются выше и немного левее на графике. А вот теперь действительно интересные вещи. Что будет, если взять одну конкретную научную организацию и отложить на такой же диаграмме все их публикации в разбивке по журналам?

Начнём, пожалуй, с Университета Лобачевского - тем более что Евгений Владимирович Чупрунов, ректор Университета, на семинаре проекта "5top100" в Нижнем Новгороде в сентябре прошлого года сказал: "У нас рост публикационной активности происходит за счёт хороших журналов с хорошим импакт-фактором", - что было просто музыкой для моих ушей. Напомню, окно публикационной активности ограничено 2005м-2014м годами, то есть, периодом до того, как Евгений Владимирович озвучил это заявление.

Соотношение нормализованной цитируемости у Университета
Лобачевского. Источник: Thomson Reuters InCites

Цифры в скобках - это место, которое журнал занимает по импакт-фактору среди остальных изданий в своей предметной области. К сожалению, видно огромное количество хороших публикаций, которым мировой научное сообщество уделило очень мало внимания, и пара высокоимпактовых жуналов - увы, только по физике - в которых публикации цитировались слабо по меркам журнала и сильно по меркам всего мира. Давайте посмотрим на какой-нибудь академический институт - например, Институт Теоретической Физики им. Ландау:

Соотношение нормализованной цитируемости у ИТФ им. Ландау.
Источник: Thomson Reuters InCites

Снова прекрасно видно, что чем выше в своей предметной области журнал по импакт-фактору - тем лучше цитируются работы, и приятно видеть, что удачный выбор журналов (и, безусловно, ценнейшие результаты научных исследований) не ограничиваются сериями Physical Review/Physical Letters. Остались сомнения? Давайте посмотрим на лёгкие здорового человека аналогичную диаграмму для шести самых популярных журналов в Гарварде:

Соотношение нормализованной цитируемости у Гарварда. Источник:

Thomson Reuters InCItes.

Ну и какие выводы из этого мы делаем.

Первый: формализм в управлении научными исследованиями - плохо. Призывы "публиковаться только в индексируемых ведущими международными базами данных изданиях" - и особенно оценка деятельности по валу таких публикаций - заставляет многих учёных выбирать путь наименьшего сопротивления и публиковаться там, где проще, но при этом аудитория у таких изданий составляет не более тысячи человек. Это действительно увеличивает публикационную активность, но снижает цитируемость, по которой у России дела обстоят и вправду плохо.

Второй: решение "Мы добавим 5 наших журналов в ведущие международные базы данных" - верный способ потерять драгоценное время, и к 2020му году не то что не попасть ни в какие рейтинги, а испортить себе все основные показатели, связанные с цитируемостью. Оставьте инициативы по продвижению журналов редакциям самих журналов.

Третий: любая инициатива, смещающая акцент в управлении научными исследованиями с более активного и креативного продвижения научных результатов (которым, как правило, является научная публикация) на агрессивное продвижение научных журналов, гарантированно затягивает цитируемость научных исследований вот в этот квадрант:

Отдельное спасибо за подготовку этого материала моему коллеге и другу Сергею Парамонову, который уже добавил эту методологию к тем консалтинговым проектам, которые он реализовывает для российских организаций.