2,44%: Декабрь 2014

Заключительная статистика по 2.44% в этом году.

Декабрь оказался рекордным месяцем в плане публикационной активности с тех пор как мы начали смотреть еженедельные данные по Web of Science, то есть, с марта 2013 года.

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть IV

Заключительный, четвёртый обзор этого года - но он будет продолжен в следующем году, я постараюсь так же публиковать обновления раз в квартал.

Напомню, нас интересуют два показателя университетов: сколько они публикуют (публикационная активность, она же научная производительность) и как всё это потом цитируют во всём мире (цитируемость статей, она же авторитетность, влиятельность или эффективность исследований). Подсчитать первый показатель практически в реальном времени не составит никакого труда, а вот второго надо подождать как минимум пару лет, прежде чем делать какие-то выводы. И тут нам приходят на помощь показатели, по которым правильность или неправильность решений руководства университетов проекта "5-100" о развитии науки в них можно оценить с гораздо меньшей задержкой. Начнём, как водится, с соотношения процитированных и непроцитированных статей 2013 года. 

Соотношение процитированных и непроцитированных работ 2013 года университетов-участников проекта "5-100"

Чтобы было понятно, хорошие это показатели или нет: МГУ - 47,0%, СПБГУ: 46,95%, Россия в целом: 37,17%, Кембридж: 56,48%.

По мере отдаления от даты публикации этот показатель будет уступать в актуальности показателю нормализованного цитирования, так что именно сейчас я впервые попробовал оценить зависимость между этими двумя показателями. График ниже увеличивается при нажатии, зависимость между показателями налицо. Если убрать Высшую Школу Экономики (которая, как я уже не раз писал, активнее других занимается общественными науками, где цитируемость ниже и накапливается дольше), то линейный коэффициент корреляции между этими двумя показателями будет равен 0,83.

Взаимозависимость показателей нормализованной средней цитируемости и соотношения процитированных и непроцитированных работ

Иными словами, по итогам этого года у нас есть четыре университета, чьи статьи в среднем цитируются заметно лучше других, при этом успехи трёх из них - МИФИ, НГУ и МФТИ - мы увидели ещё в первой половине года, а про четвёртый - ВШЭ - сразу сказали, что таким способом не увидим.

Это говорит о том, что, взглянув в марте 2015 года (а это всего через 3 месяца, включая праздники) на аналогичные значения для статей 2014 года, мы с высокой степенью достоверности сможем сделать выводы о цитируемости университетов в этом году. Попробуем уже сейчас провести кое-какие наблюдения, хотя какие-то выводы делать пока и рано:

Соотношение процитированных и непроцитированных работ 2014 года университетов-участников проекта "5-100"

Опять же, как это соотносится с нашими проверочными точками: МГУ - 19,38%, СПБГУ: 16,18%, Россия в целом: 14,22%, Кембридж: 29,57%.

На верхнюю строчку в этом году вырвался МИСИС. Если он окажется на том же месте и через 3 месяца - мы будем присматриваться к нему повнимательнее, поскольку, скорее всего, это уже будет индикатором серьёзного роста цитируемости университета.

Наконец, какие цифры публикационной активности университетов мы увидим в июне 2015 года? В прошлом посте я уже делал достаточно грубый прогноз, теперь я его уточняю. Три университета - Санкт-Петербургский Политехнический, Томский Государственный и НИЯУ МИФИ успели опубликовать за прошедший квартал столько статей, что мне бы надо пересмотреть прогноз, чего я делать принципиально не буду, поскольку должен же я хотя бы раз ошибиться в предсказаниях.

Прогноз итоговых показателей публикационной активности 2014 года университетов-участников проекта "5-100"

2,44%: Ноябрь 2014

Ноябрь прошлого года был рекордным месяцем для России за всё то время, что мы отслеживаем динамику публикационной активности. В ноябре этого года я впервые засомневался, что к середине следующего года рубеж в 36 000 статей по Web of Science будет достигнут.

По абсолютным показателям ситуация выглядит следующим образом:

Статей 2013 года по состоянию на 28 ноября 2013го: 25793
Статей 2014 года по состоянию на 27 ноября 2014го: 25829

О важности выбора журнала для публикации

Напомню вам, что несмотря на наметившийся рост научной производительности России (то есть, показателя количества статей в Web of Science), мы всё ещё занимаем 130е место в мире из 150 с показателем 5,54 цитирования на одну статью, опубликованную за последние 10 лет. Это - очень мало, но это не значит, что российские учёные публикуют слабые работы. Почему же российские статьи так скромно цитируются? Недавнее добавление в InCites возможности отслеживания нормализованной цитируемости статей в разбивке по журналам позволяет наконец наглядно продемонстрировать, как выбор журнала для опубликования работы влияет затем на цитируемость статей: учёного, организации или страны в целом.

Почему это важно? Да потому что именно цитируемость работ, а не их количество в Web of Science, является показателем авторитетности или влиятельности - опять же, учёного, организации или страны в целом. Показатель нормализованной цитируемости статей университета занимает 30% веса среди индикаторов рейтинга Times Higher Education, и вот как обстоят дела с этим показателем за последние 10 лет у университетов проекта "5-100" - и давайте я добавлю туда МГУ и СПбГУ, изображение кликабельно:

Нормализованная цитируемость университетов проекта "5-100", МГУ и СПбГУ за последние 10 лет

Если этот показатель так и останется ниже единицы - шансы попасть в ведущую сотню остаются только математическими. Возьмём, например, НИТУ "МИСиС", занимающий в рассматриваемой выборке 8е место с показателем 0,53 (то есть, на 47% ниже среднемирового уровня). В каких десяти журналах за последние 10 лет сотрудники МИСиС публиковались чаще всего и как эти статьи потом цитировались относительно среднемирового уровня?

Цитируемость статей, опубликованных в наиболее популярных среди сотрудников НИТУ МИСиС журналах. Единица - среднемировой уровень

Журналы отсортированы сверху-вниз по количеству опубликованых в них работ сотрудниками НИТУ "МИСиС" за последние 10 лет. В двух "лидирующих" журналах - Russian Journal of Nonferrous Metals (импакт-фактор 0,121, занимает 71е из 75 мест по импакт-фактору в своей предметной области) и Metallurgist (импакт-фактор 0,244 и 63е место из 75) - было опубликовано 303 статьи - 18% от всего, что было опубликовано сотрудниками МИСиС за эти 10 лет, но до сих пор они собрали всего 101 цитирование, а нормализованное цитирование оказалось таким низким, что значение даже не отобразилось на графике: 0,07, то есть, в 14 раз хуже, чем в среднем в мире, что очень заметно тянет вниз общий показатель цитируемости университета.

При этом, самый высокоимпактовый журнал в самой важной для МИСиС предметной области - металлургии - носит название Acta Materialia, имеет импакт-фактор 3,94, и те 13 публикаций в нём, которые успели сделать сотрудники НИТУ МИСиС за последние 10 лет, цитируются на 92% выше ожидаемого уровня в своей предметной области. Не будь этих тринадцати статей - показатель цитируемости всего МИСиС был бы ниже.

Нормализованная цитируемость самых эффективных для сотрудников НИТУ МИСиС журналов

Вдумайтесь в эти цифры. 13 статей в хорошем журнале принесли 256 цитирований - в два с половиной раза больше, чем 303 статьи в двух журналах послабее - здесь мы имеем дело с одной и той же предметной областью, поэтому вполне можем сравнивать абсолютные значения цитируемости.

Может, это просто совпадение? Давайте посмотрим на университет ИТМО в Санкт-Петербурге, который тоже довольно активно наращивает публикационную активность в этом году, и как раз подходит к тому рубежу, после которого очень желательно задуматься о цитируемости статей. Где они публиковали свои работы чаще всего за последние 10 лет?

Цитируемость статей, опубликованных в наиболее популярных среди сотрудников ИТМО журналах.

Ситуация очень похожая - в топе за последние 10 лет находится журнал Journal of Optical Technology с импакт-фактором 0,24, занимающий по этому показателю 80е из 83х мест в своей предметной области, в котором сотрудниками университета было опубликовано 326 статей (17% от общего объёма), которые опять-таки были процитированы в 11 раз хуже среднемирового уровня (нормализованное цитирование равно 0,09).

Самое эффективное использование журнального пространства у ИТМО - это Optics Express с импакт-фактором 3,525 и шестым из восьмидесяти трёх местом в своей предметной области. В нём было опубликовано пятнадцать статей, принесших цитирований в 2,5 раза выше нормы для предметной области "оптика".

Нормализованная цитируемость самых эффективных для сотрудников ИТМО журналов

Какой напрашивается вывод? Существует зависимость между рейтингом журнала по импакт-фактору в своей предметной области и цитируемостью работ, опубликованных в нём. Отечественные учёные вполне могут публиковаться в журналах с огромными аудиториями и значительными импакт-факторами, что самым прямым образом будет способствовать росту цитируемости их статей. Тем не менее, из-за относительной простоты публикации в журналах с невысоким импакт-фактором большое количество статей отправляется именно туда, что не просто "съедает" цитируемость статей, а, что более важно, уменьшает аудиторию, которая может ознакомиться с результатами работы и потенциально на неё сослаться.

При этом, я не хочу сказать, что все российские журналы - плохие и их никто не читает, и уж тем более я не предлагаю прекращать в них публиковаться. Но те из них, для кого попадание в Web of Science является единственной целью, после достижения которой можно расслабиться, едва ли должны быть интересны хорошему исследовательскому институту или университету.

2.44%: Октябрь 2014

Снова последний четверг месяца и снова обновление статистики по достижению 2,44%.

Не могу придумать более подходящий эпитет, чем сухое "умеренно-позитивная динамика". За этот месяц нам удалось понять, почему всё-таки её не было видно в первой половине года: в феврале в Web of Science попало довольно скромное количество статей из России, так что относительный показатель прошлого года получилось нагнать только к сентябрю.

Автаркичные высокоцитируемые статьи

Интересный эксперимент в Web of Science Core Collection:

1. Открываем расширенный поиск (Advanced Search)

2. Вводим: cu=russia (все статьи, на которых в качестве аффиляции был указан российский адрес). Получаем сотни тысяч статей, опубликованных при участии российских учёных.

3. Выбираем "Highly Cited Papers" на вкладке ESI Top Papers панели Refine Results. Получаем 1215 высокоцитируемых статей (то есть, вошедших в 1% наиболее цитируемых по своей предметной области), опубликованных за последние 10 лет при участии российских учёных.

4. Теперь самое трудоёмкое: выбираем все страны кроме России и жмём "Exclude Records".

В результате у нас остаётся несколько десятков высокоцитируемых статей (то есть, попавших в 1% наиболее цитируемых по своей предметной области), которые написаны не в соавторстве с иностранцами, а только учёными, работающими в России. Конечно, большинство было опубликовано в иностранных журналах, так что полностью эпитет "автаркичные", вынесенный в название поста, к ним применим с натяжкой, но для краткости предлагаю именно этот термин.

78 из 1215 высокоцитируемых российских работ были опубликованы без иностранного соавторства - это 6,4%. Эти работы интересны, в том числе, тем, что, поскольку в иных коллаборациях трудно оценить реальный вклад учёного в проведение исследования, наличие высокоцитируемых работ, опубликованных эксклюзивно учёными рассматриваемого государства - показатель, довольно красноречиво говорящий о количестве выдающихся научных идей внутри страны.

Вот список авторов, которые опубликовали более одной такой высокоцитируемой работы.

Наиболее популярные предметные области - тут тоже без сенсаций, за исключением, разве что, инженерных наук, которые я не ожидал увидеть так высоко:

Ещё интересные наблюдения: из 78 работ всего 6  (то есть, 7,6% от оставшегося) были опубликованы в российских журналах:
две - в Mathematical Notes (автор обеих - Виктор Павлович Маслов из ВШЭ, правда, он же с Т.В. Масловой - и автор всех 16 цитирований на эти статьи. Каноничный пример, которым можно проиллюстрировать страницу "автаркия" на Википедии),
по одной - в Mendeleev Communications, Physics-Uspekhi (переводная версия "Успехов Физических Наук"), Laser Physics Letters и Russian Chemical Bulletin.

Как обстоят дела с аналогичным показателем в других странах? Я отобрал несколько стран и по тому же сценарию подсчитал их автаркичные высокоцитируемые статьи. Вот что получается:

По абсолютному показателю не всё так плохо, по относительному (6.4%) мы - ниже Нигерии и Никарагуа, но выше других стран бывшего СССР - за исключением, видимо, Прибалтики. Это косвенно указывает на то, что Россия участвует в большинстве международных исследовательских проектов скорее как ведомая, чем как ведущая сторона. Боюсь, вывод статьи следующий: международное сотрудничество нужно сейчас постсоветской науке гораздо сильнее, чем постсоветская наука - международному сотрудничеству.

Как Большой Адронный Коллайдер влияет на развивающуюся науку

Сначала у меня была идея провести параллель между "наукометрическим эффектом БАК" и чёрной дырой, но в процессе написания поста я решил, что нефтяная игла - более уместная аллегория.

Сейчас на БАКе ведутся 7 экспериментов, по шести из которых (все кроме MoeDAL) научные публикации выходят с указанием одноимённых коллабораций. Важность этих работ подтверждается их высокой цитируемостью: всего их было опубликовано чуть более трёх тысяч, а процитировать их успели более 21 000 раз (БАК, напомню, заработал на полную мощность 5 лет назад, и большинство работ в течение ближайших пяти лет соберут ещё в два-три раза больше ссылок). Графики ниже позволяют понять масштаб проектов:

Динамика публикационной активности по четырём ведущим экспериментам на БАК

Наукометрические показатели проектов БАК: ось X - коичество статей, ось Y - средняя цитируемость одной статьи, размер круга и число в нём - индекс Хирша

Россия, самая сильная предметная область которой - как раз физика, активно участвует в экспериментах на БАКе, более того - относительная доля публикаций в этих проектах в общем объёме публикаций России за последние 3 года приблизилась к 1%, что уже начинает оказывать небольшое, но влияние на цитируемость отечественной науки.

Зависимость цитируемости российских статей от вовлечённости в коллаборации Большого Адронного Коллайдера

Безусловно, хочется думать, что наши семинары "Бренд учёного: как сделать так, чтобы нас цитировали", которые мы регулярно проводим в России, да и вообще постепенный сдвиг парадигмы в сторону публикаций в более высокорейтиновых журналах, тоже делают свой вклад в увеличение цитируемости российских работ, но давайте посмотрим, что происходит там, где влияние БАКа ещё сильнее - в российских университетах, которые активнее всего участвуют в этих проектах. Обратите внимание: чем выше процент БАКовских работ, тем выше его корреляция с цитируемостью и тем больше, следовательно, её скачок.

Завсисимость цитируемости российских университетов от вовлечённости в коллаборации Большого Адронного Коллайдера

Здесь нужно обратить внимание на то, что у МИФИ были довольно хорошие показатели и до того, как количество БАКовских статей вышло на существенный уровень. Это связано не в последнюю очередь с тем, что МИФИ помимо этого участвует ещё и в коллаборациях ZEUS (эксперимент на коллайдере HERA в Гамбурге) и STAR (на коллайдере RHIC в Брукхейвенской Национальной Лаборатории).

Интересно участие российских университетов в ведущих проектах Большого Адронного Коллайдера: МГУ входит во все 4 важнейших коллаборации, МИФИ - в ALIСE и ATLAS, НГУ - в ATLAS и LHCb.

Всё это означает, что хорошие показатели ряда российских организаций (научно-исследовательских институтов вроде ИТЭФ в том числе) сильно зависят от участия в подобных проектах, Если активность этих конретных проектов пойдёт на спад, это может негативно сказаться на положении упомянутых выше университетов в рейтингах, поэтому надо искать способы диверсификации такого риска. То, что сравнительно небольшое количество высокоцитируемых российских исследований проводится своими силами и без вовлечения в эти коллаборации, само по себе не катастрофа, но тоже характеризует состояние отечественной науки.

Аналогичную картину видно и по другим странам, особенно - бывшим республикам СССР. У Беларуси тоже наблюдается резкий рост цитируемости по итогам 2012 года. Похожая история - у Армении, Грузии и Азербайджана. Более того: у этих стран даже тенденции в объёмах публикационной активности коррелируют: чуть упала активность БАКовских проектов в 2013м году - снизилась и публикационная активность в этих странах.

Зависимость цитируемости Армении и Беларуси от вовлечённости в коллаборации Большого Адронного Коллайдера

Что делать? Здесь нет простого ответа, более того - для каждой организации он индивидуальный, но если говорить о самых общих шагах, то это:
- диверсифицикация указанного выше риска и интенсификация научных исследований в других направлениях;
- переориентирование публикационной стратегии с "просто публиковаться" или "публиковаться как можно больше" на "публиковаться в как можно более авторитетных и влиятельных журналах"
- отслеживание масштабных исследовательских проектов, подобных описанным выше: в каких ещё коллаборациях мы можем пригодиться?