Monday 25 April 2016

Эффективность VS формализм в управлении научными исследованиями

Если вы уже какое-то время читаете этот блог, то наверняка знаете, что такое средняя цитируемость, нормализованная по предметной области относительно среднемирового уровня (category normalized citation impact, CNCI). Есть ещё один интересный показатель, о котором я до сих пор особенно не рассказывал - это средняя цитируемость, нормализованная по журналу (journal normalized citation impact, JNCI). Он показывает, насколько лучше или хуже, чем в среднем по журналу (а не по миру, как CNCI), цитируется научная публикация.

Сам по себе индикатор JNCI мало о чём говорит, но как дополнение к показателю CNCI он позволяет понять, в тех ли журналах публикуется рассматриваемый автор или организация. Ещё 5 лет назад мы обратили внимание на тот факт, что для абсолютного большинства российских научных организаций показатель CNCI существенно ниже единицы, которая и является среднемировым уровнем, а вот тот же показатель, но на уровне журнала - вполне на среднем уровне или даже выше него, все картинки кликабельны.

Показатели CNCI (единица - среднемировой уровень) и JCNI
(единица - средний уровень по журналу) у десяти наиболее
активно публикующихся российских организаций в период
с 2005 по 2014 гг. Скриншот из InCites
О чём это говорит? О том, что проблема низкой цитируемости российской науки (а тот же показатель CNCI для России в целом за последние 10 лет равен 0,65 - то есть, на 35% ниже среднемирового значения, - и по нему мы занимаем 136-е место среди 143х стран, которые
опубликовали за эти 10 лет хотя бы 1000 работ) - это результат не низкого качества самих публикаций. Проблема, как следует из этих наблюдений - в журналах, и если понимать, сколько человек во всём мире читает научную периодику, в которой больше всего любят публиковаться российские авторы, то прослеживается достаточно явная связь между размером аудитории журнала и цитируемостью работ.

Теперь перейдём к чуть более сложным вещам. В 2014м году на конференции Science Online заместитель директора библиотеки ВШЭ и по совместительству один из лучших наукометристов в России Владимир Писляков представил идеальный способ визуализации описанного выше наблюдения: мы можем отложить на графике значения JNCI на одной оси, а значения CNCI - на другой.



Получается вот такой красивый график. Поместить на него мы теперь можем всё, что угодно - индивидуальные публикации, средние значения этих показателей для конкретных авторов, университетов или даже стран. Биссектриса здесь делит график на две части и буквально показывает, где цитируемость, нормализованная по журналу, равна цитируемости, нормализованной по предметной области: сильное отклонение от неё вниз и вправо будет с высокой вероятностью говорить о том, что низкоимпактовый журнал "тянет" цитируемость публикаций вниз, сильное отклонение вверх и влево - о том, что автору повезло опубликовать статью в журнале, уровень которого сильно превышает уровень статьи, и таким образом поддерживает её цитируемость. Давайте попробуем отложить на этом графике российские научные организации.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся российских университетов. Источник:
Thomson Reuters InCites

Это - российские университеты, размер кружка - количество публикаций. Здесь и далее окно публикационной активности взято с 2005го по 2014й год. Как видно, основная масса оказывается именно снизу-справа от биссектрисы, то есть - публикуются преимущественно в низкоимпактовых журналах, и абсолютное большинство из университетов в целом цитируется хуже среднемирового уровня. Самый большой кружок - это, разумеется, МГУ, у трёх ВУЗов - МИФИ, СФУ и ВШЭ - ситуация с цитируемостью оказалась даже лучше среднемировой.

Теперь давайте посмотрим на российские исследовательские институты.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся исследовательских институтов. Источник:
Thomson Reuters InCites

С институтами ситуация очень похожая - здесь абсолютно все проявили себя на уровне журнала лучше, чем в мировом масштабе.

Что мы увидим у ведущих мировых научных организаций? Тут, как видите, пришлось продолжить ось CNCI вверх, чтобы Гарвард и MIT уместились на графике. С ними всё понятно - публикуются в лучших журналах, да ещё и на фоне самих журналов отлично выглядят.

Соотношение нормализованной цитируемости у
ведущих 
мировых университетов. Источник:
Thomson Reuters InCites

Интересная картина - у лидеров оставшейся части BRIC, исключая Россию. Обратите внимание, что масштаб диаграммы другой, её пришлось увеличить, чтобы разглядеть, поскольку все организации - довольно близко к центру. Видно, что университет Сан-Паулу смотрится чуть хуже других, но, на самом деле, несильно отклоняется от биссектрисы.


Соотношение нормализованной цитируемости у ведущих научных
организаций BRIC. Источник: Thomson Reuters InCites

Это было сравнение организаций. Очевидно, что более высокорейтинговые почему-то действительно оказываются выше и немного левее на графике. А вот теперь действительно интересные вещи. Что будет, если взять одну конкретную научную организацию и отложить на такой же диаграмме все их публикации в разбивке по журналам?

Начнём, пожалуй, с Университета Лобачевского - тем более что Евгений Владимирович Чупрунов, ректор Университета, на семинаре проекта "5top100" в Нижнем Новгороде в сентябре прошлого года сказал: "У нас рост публикационной активности происходит за счёт хороших журналов с хорошим импакт-фактором", - что было просто музыкой для моих ушей. Напомню, окно публикационной активности ограничено 2005м-2014м годами, то есть, периодом до того, как Евгений Владимирович озвучил это заявление.

Соотношение нормализованной цитируемости у Университета
Лобачевского. Источник: Thomson Reuters InCites
Цифры в скобках - это место, которое журнал занимает по импакт-фактору среди остальных изданий в своей предметной области. К сожалению, видно огромное количество хороших публикаций, которым мировой научное сообщество уделило очень мало внимания, и пара высокоимпактовых жуналов - увы, только по физике - в которых публикации цитировались слабо по меркам журнала и сильно по меркам всего мира. Давайте посмотрим на какой-нибудь академический институт - например, Институт Теоретической Физики им. Ландау:

Соотношение нормализованной цитируемости у ИТФ им. Ландау.
Источник: Thomson Reuters InCites

Снова прекрасно видно, что чем выше в своей предметной области журнал по импакт-фактору - тем лучше цитируются работы, и приятно видеть, что удачный выбор журналов (и, безусловно, ценнейшие результаты научных исследований) не ограничиваются сериями Physical Review/Physical Letters. Остались сомнения? Давайте посмотрим на лёгкие здорового человека аналогичную диаграмму для шести самых популярных журналов в Гарварде:

Соотношение нормализованной цитируемости у Гарварда. Источник:
Thomson Reuters InCItes.

Ну и какие выводы из этого мы делаем.

Первый: формализм в управлении научными исследованиями - плохо. Призывы "публиковаться только в индексируемых ведущими международными базами данных изданиях" - и особенно оценка деятельности по валу таких публикаций - заставляет многих учёных выбирать путь наименьшего сопротивления и публиковаться там, где проще, но при этом аудитория у таких изданий составляет не более тысячи человек. Это действительно увеличивает публикационную активность, но снижает цитируемость, по которой у России дела обстоят и вправду плохо.

Второй: решение "Мы добавим 5 наших журналов в ведущие международные базы данных" - верный способ потерять драгоценное время, и к 2020му году не то что не попасть ни в какие рейтинги, а испортить себе все основные показатели, связанные с цитируемостью. Оставьте инициативы по продвижению журналов редакциям самих журналов.

Третий: любая инициатива, смещающая акцент в управлении научными исследованиями с более активного и креативного продвижения научных результатов (которым, как правило, является научная публикация) на агрессивное продвижение научных журналов, гарантированно затягивает цитируемость научных исследований вот в этот квадрант:



Отдельное спасибо за подготовку этого материала моему коллеге и другу Сергею Парамонову, который уже добавил эту методологию к тем консалтинговым проектам, которые он реализовывает для российских организаций.

Monday 18 April 2016

Russian Science Citation Index

Ежедневно мы получаем огромное количество писем с вопросами о нашей новой базе данных Russian Science Citation Index, а это значит, что самое время написать отдельный текст с ответом на основные из них.

Зачем вообще понадобилась новая база данных?

Во-первых, для того, чтобы у нас с вами появилась возможность оценивать российскую науку по ещё более репрезентативной выборке. В нашей центральной базе данных Web of Science Core Collection критерии отбора журналов настолько жёсткие, что сейчас им отвечает порядка 160и российских журналов. Существует эта политика отбора в первую очередь для того, чтобы по цитируемости в принципе можно было оценивать науку - иначе как можно оценить влиятельность научной статьи, если одно цитирование на неё идёт из Nature, а остальные десять - из условного "Вестника N-ского Гуманитарно-Строительного Университета"?

Разумеется, наукометрический анализ необходимо проводить по достаточно однородному массиву данных. Web of Science Core Collection, таким образом, формирует высшую лигу мировых журналов, а база Russian Science Citation Index - "первую", в которой собраны журналы, прошедшие хорошо продуманную трёхэтапную (третьим этапом было публичное обсуждение итоговых списков) процедуру отбора, организованную Научной Электронной Библиотекой eLibrary.ru - и, вдобавок, чуть лучше покрывающие отдельные предметные области в России.

Во-вторых, новая база нужна для продвижения успехов российской науки за рубежом. Количество пользователей Web of Science во всём мире уже превышает 30 миллионов, и теперь каждый из них может при поиске находить публикации из Russian Science Citation Index - даже если поиск был сделан на английском языке, поскольку данные каждой публикации дублируются на английском и русском:


Таким образом, любой научный сотрудник, организация или издательство, пока не представленные в Web of Science Core Collection или представленные там скромно, могут использовать Russian Science Citation Index и для того, чтобы доказать важность своих научных результатов, и для того, чтобы более активно информировать о них мировую научную общественность.

У нас был доступ до конца февраля 2016 года, а потом пропал. Когда вы включите его обратно?

С декабря по февраль мы действительно открывали в России всем подписчикам Web of Science доступ к новой базе данных - даже не на бесплатный тест, в общепринятом понимании подписных баз данных, а на вариант бета-тестирования, чтобы собрать информацию о возможных проблемах и ошибках, исправить их и быть готовыми к запуску базы во всём мире в конце марта. Сам же доступ предоставляется за куда меньшую, чем у Web of Science Core Collection, но абонентскую плату.

Что это за дискриминация?

Тоже очень правильный вопрос: почему Thomson Reuters предлагает подписку на Russian Science Citation Index в России за деньги? Действительно, большинство региональных указателей устроены совсем по-другому: либо на весь мир они открываются бесплатно (как Korean Citation Index или латиноамериканская база SCIELO), либо для самой страны она делается доступной бесплатно, а для остального мира - за абонентскую плату (как в случае с Chinese Science Citation Database).

Здесь надо оговориться, что проекты региональных указателей цитирования, как правило, инициируются локальными организациями - например, в Китае это была местная Академия Наук - они же и финансируют проект создания базы. В России найти спонсора подобного проекта нам, к сожалению, не удалось, и мы пошли на некоторый риск, профинансировав разработку базы данных из средств Thomson Reuters, а поскольку мы - компания коммерческая, подобные затраты нам необходимо хотя бы в минимальном виде окупать.

Тогда почему же, спросит внимательный читатель, мы сделали базу данных бесплатной для остального мира? Это было нужно для того, чтобы выполнить вторую задачу проекта - продвижение российских научных результатов в мировое научное сообщество, а для этого важно, чтобы и у профессора в Токио, и у аспиранта в Сан-Паулу, и у проректора в Париже этот доступ появился без необходимости каких-либо дополнительных телодвижений.

Я нашёл в базе данных неточность. Кому об этом сообщить?

Правильнее всего будет обратиться в нашу службу поддержки, сделать это можно прямо из интерфейса Web of Science, воспользовавшись функцией "Suggest a correction" (в русском варианте - "Предложить поправку"):


Где взять список журналов Russian Science Citation Index?

Самый свежий список на момент написания этого текста находится по этой ссылке

У меня остались вопросы. Кому написать?

Напишите мне, адрес моей электронной почты - вверху страницы.