Showing posts with label 5-100. Show all posts
Showing posts with label 5-100. Show all posts

Thursday, 30 March 2017

Зависимость российской науки от коллайдерной иглы

Впервые об ощутимом влиянии Большого адронного коллайдера на результативность российской науки мы задумались примерно два с половиной года назад. Тогда только-только начиналось увлечение рейтингами, стартовал проект "5-100", мы с вами поражались зашкаливающей цитируемости НИЯУ МИФИ и т.д. С тех пор количество российских организаций, участвующих в экспериментах на БАК сильно выросло, многие российские университеты, вошедшие в эти проекты, существенно укрепили свои позиции в уже упомянутых рейтингах, что вылилось для них в дополнительное финансирование и обеспечило больший интерес к этим ВУЗам со стороны как студентов, так и профессоров.

Пусть так же будет продолжаться и дальше - эксперименты на БАК, вне всяких сомнений, являются одними из важнейших проектов в науке последних лет, и одно лишь участие в них уже является своеобразным знаком качества как для учёного, так и для организации. Проблемы начинаются, когда мы пытаемся проанализировать состояние и тенденции в науке университета, активно участвуюшего в этом проекте - или страны, доля БАКовских публикаций которой в общем её научном результате существенна. Заключаются эти проблемы в том, что мы не можем чётко ответить на вопросы, вроде:

- Кто из наших сотрудников работает наиболее эффективно? (Ответом будет: "участники экспериментов на БАК")
- Хорошо, тогда кто из наших сотрудников - "восходящие звёзды"? (Ответ: "Понятия не имеем. Куда ни глянь - одни участники экспериментов на БАК")
- Но тогда хотя бы в каких предметных направлениях мы работаем действительно эффективно? (Ответ очевиден: "физика элементарных частиц!")
- О'кей. А где мы публикуемся и где нам надо публиковаться? (Ответ: "публикуемся в Physical Review C/D/Letters, Physics Letters B и т.д., надо больше публиковаться там же")
- Ладно, а с кем мы сотрудничаем и с кем нам действительно стоит сотрудничать? (Ответ снова очевиден: "сотни организаций-участников указанных экспериментов - вот наша единственно верная политика научного сотрудничества!")

Аналогия с иглой нефтяной, от которой так сильно зависит российская экономика, тут неспроста. За цитированиями, приходящими на публикации мегаколлабораций, иногда можно не только не заметить, что мы отлично работаем и в других направлениях (или, наоборот, самозабвенно цитируем сами себя, уничтожая собственную академическую репутацию), но и поддаться ложным выводам о том, что всё в нашей науке великолепно - и вообще зачем чинить то, что и так прекрасно работает? Сохранение подобного статус-кво, тем не менее, весьма и весьма опасно для устойчивого развития науки, подобный пример в экономике мы и наблюдаем последние 17 лет.

Наукометристы часто говорят о необходимости оценки публикаций, написанных в крупных коллаборациях (около 30 авторов и более), отдельно от остальных. Многие эксперты - например, центра CWTS, составители Лейденского рейтинга - применяют методику дробного учёта цитирования, чтобы делить цитируемость таких публикаций равномерно между всеми участниками, но большинства вопросов это всё равно не снимает. Наша собственная методика расчёта высокоцитируемых авторов также подразумевает исключение всех коллабораций по физике с количеством соавторов более 30.

С марта этого года у нас, наконец, появилась возможность двумя щелчками мыши изолировать эти публикации и провести анализ деятельности любых организаций без учёта таких документов (или, наоборот, только с их учётом).

Давайте ещё раз посмотрим на одни лишь коллайдерные публикации. Вот так шли исследования и публиковались работы на всех семи детекторах (напомню, цифры 2016 г. пока неполные):

Количество публикаций по экспериментам на БАК

Как видно, исследования различаются не только масштабами (4 основных детектора дают основную массу данных) но и результативностью для современной науки - какие-то цитируются лучше, какие-то хуже:

Сопоставление масштабов коллабораций БАК. По горизонтальной оси: количество публикаций за период с 2007 по 2016 гг, по вертикальной оси: нормализованная средняя цитируемость публикаций, размер круга: количество высокоцитируемых публикаций

Более-менее знакомый с положением вещей читатель обратит внимание, что такого показателя цитируемости, пусть он и выше среднемирового значения, но всё же недостаточно, чтобы вытащить в ведущие мировые рейтинги целые российские университеты. Всё дело в том (что для меня как человека далёкого от физики элементарных частиц было удивительной новостью), что большая часть публикаций ALICE, ATLAS, CMS Collaboration и т.д. пишутся индивидуальными авторами с указанием одной из коллабораций в качестве группового автора. Вот небольшая статистика распределения этих публикаций по количеству соавторов:

Распределение публикаций по количеству соавторов

Так вот, самые низкие показатели цитируемости в рассматриваемой выборке - у индивидуально написанных публикаций, самые высокие - у тех статей, где количество работавших над ними исследоателей как раз целесообразно измерять в килоавторах. И вот в эти-то проекты как раз и стремятся войти организации со всего мира. Давайте посмотрим, кто участвует в них со стороны России. Напомню, все изображения кликабельны.


Российские организации, активно участвующие в крупных международных коллаборациях, и наукометрические показатели их участия за 2007-2016 гг.

Я не хотел бы детально разбирать публикации институтов Академии Наук, которые как раз и специализируются на исследованиях в области физики элементарных частиц (хотя и там, полагаю, при помощи новой функции InCItes можно увидеть много интересного, просто задавшись вопросом "что ещё там умеют делать хорошо?"). Давайте разберём университеты, ведь именно применительно к ним новая возможность InCites даёт максимальную пользу.

Российских университетов, чьи сотрудники за последние 10 лет опубликовали в рамках этих коллабораций более 100 статей, семеро. Вот они - и коллаборации, в которых они участвуют:

Российские университеты и коллаборации БАК, в которых они участвуют

Давайте посмотрим, чтО мы наконец-то можем увидеть по каждому из них, если отфильтровать все публикации с количеством соавторов выше определённого значения (оговорюсь, "коллайдерных" статей там будет большинство, но не все)

МГУ и высокоцитируемые публикации

Наукометрические показатели МГУ за 2007-2016 год, исключая публикации с количеством соавторов более 100.

Если ограничить сотней максимальное значение соавторов для публикаций МГУ, нормализованная средняя цитируемость Университета снижается довольно ощутимо: с 0,85 до 0,63. При этом, из 292 высокоцитируемых публикаций остаётся 131, что очень и очень неплохо. Интересное упражнение для самостоятельной работы в МГУ: посмотреть, что это за высокоцитируемые публикации, кто их авторы и почему эти статьи так хорошо цитируются.

МИФИ и новые направления роста

Для МИФИ попробуем снизить пороговое значение количества соавторов до 30 и посмотреть на их научные результаты в разбивке по предметным областям.

10 наиболее популярных предметных областей в НИЯУ МИФИ за 2007-2016 гг., исключены публикации с количеством соавторов более 30.

Нормализованная средняя цитируемость этих публикаций

Очевидные успехи НИЯУ МИФИ делает в области оптики, раз работы Университета в ней цитируются почти в полтора раза лучше среднемирового уровня. Теперь можно открыть список из этих 523 публикаций, чтобы увидеть, кто из авторов МИФИ действительно проводит интересные миру исследования по оптике, а кто - вероятнее всего, занимается преимущественно самоцитированием.

НГУ и география соавторства

Для НГУ зададим тот же порог в 30 соавторов на публикацию. Список основных организаций-партнёров серьёзно поменяется:

12 наиболее активно сотрудничающих с НГУ организаций за период с 2007 по 2016 гг., исключая коллаборации с числом соавторов более 30.

А какие из этих совместных проектов - наиболее цитируемые? Оказывается, совместные 70+ работ с Астонским Университетом цитируются очень и очень хорошо. Уверен, наукометрическое подразделение НГУ об этом факте хорошо знает, но теперь есть возможность продемонстрировать, насколько именно там всё хорошо цитируется по сравнению со средним значением по миру и по университету.

Нормализованная цитируемость этих совместных проектов

МФТИ и публикационная стратегия

Не могу не коснуться своей любимой темы - как университетам качественно увеличить цитируемость, изменив всего одну вещь в управлении публикационной активностью. На примере МФТИ мы можем снова задать порог в 30 соавторов на публикацию, выгрузить данные и построить диаграмму Пислякова, очищенную от крупных коллабораций, и использовать её, чтобы корректировать публикационную стратегию и отслеживать результаты этого изменения.

Соотношение нормализованной цитируемости МФТИ.
Очень удобная штука, чтобы трезво понимать состояние и тенденции в научных исследованиях в таких организациях. Ещё раз - мы никоим образом не умаляем заслуг физиков и медиков, активно участвующих в крупных международных коллаборациях. Но напомню, что рекорд количества соавторов сейчас составляет 5,145 килоавторов на одну статью, и, покуда конца и края этому нет, новая функция существенно облегчит жизнь всем, кто так или иначе связан с наукометрией и оценкой результативности научных исследований.

Monday, 25 April 2016

Эффективность VS формализм в управлении научными исследованиями

Если вы уже какое-то время читаете этот блог, то наверняка знаете, что такое средняя цитируемость, нормализованная по предметной области относительно среднемирового уровня (category normalized citation impact, CNCI). Есть ещё один интересный показатель, о котором я до сих пор особенно не рассказывал - это средняя цитируемость, нормализованная по журналу (journal normalized citation impact, JNCI). Он показывает, насколько лучше или хуже, чем в среднем по журналу (а не по миру, как CNCI), цитируется научная публикация.

Сам по себе индикатор JNCI мало о чём говорит, но как дополнение к показателю CNCI он позволяет понять, в тех ли журналах публикуется рассматриваемый автор или организация. Ещё 5 лет назад мы обратили внимание на тот факт, что для абсолютного большинства российских научных организаций показатель CNCI существенно ниже единицы, которая и является среднемировым уровнем, а вот тот же показатель, но на уровне журнала - вполне на среднем уровне или даже выше него, все картинки кликабельны.

Показатели CNCI (единица - среднемировой уровень) и JCNI
(единица - средний уровень по журналу) у десяти наиболее
активно публикующихся российских организаций в период
с 2005 по 2014 гг. Скриншот из InCites
О чём это говорит? О том, что проблема низкой цитируемости российской науки (а тот же показатель CNCI для России в целом за последние 10 лет равен 0,65 - то есть, на 35% ниже среднемирового значения, - и по нему мы занимаем 136-е место среди 143х стран, которые
опубликовали за эти 10 лет хотя бы 1000 работ) - это результат не низкого качества самих публикаций. Проблема, как следует из этих наблюдений - в журналах, и если понимать, сколько человек во всём мире читает научную периодику, в которой больше всего любят публиковаться российские авторы, то прослеживается достаточно явная связь между размером аудитории журнала и цитируемостью работ.

Теперь перейдём к чуть более сложным вещам. В 2014м году на конференции Science Online заместитель директора библиотеки ВШЭ и по совместительству один из лучших наукометристов в России Владимир Писляков представил идеальный способ визуализации описанного выше наблюдения: мы можем отложить на графике значения JNCI на одной оси, а значения CNCI - на другой.



Получается вот такой красивый график. Поместить на него мы теперь можем всё, что угодно - индивидуальные публикации, средние значения этих показателей для конкретных авторов, университетов или даже стран. Биссектриса здесь делит график на две части и буквально показывает, где цитируемость, нормализованная по журналу, равна цитируемости, нормализованной по предметной области: сильное отклонение от неё вниз и вправо будет с высокой вероятностью говорить о том, что низкоимпактовый журнал "тянет" цитируемость публикаций вниз, сильное отклонение вверх и влево - о том, что автору повезло опубликовать статью в журнале, уровень которого сильно превышает уровень статьи, и таким образом поддерживает её цитируемость. Давайте попробуем отложить на этом графике российские научные организации.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся российских университетов. Источник:
Thomson Reuters InCites

Это - российские университеты, размер кружка - количество публикаций. Здесь и далее окно публикационной активности взято с 2005го по 2014й год. Как видно, основная масса оказывается именно снизу-справа от биссектрисы, то есть - публикуются преимущественно в низкоимпактовых журналах, и абсолютное большинство из университетов в целом цитируется хуже среднемирового уровня. Самый большой кружок - это, разумеется, МГУ, у трёх ВУЗов - МИФИ, СФУ и ВШЭ - ситуация с цитируемостью оказалась даже лучше среднемировой.

Теперь давайте посмотрим на российские исследовательские институты.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся исследовательских институтов. Источник:
Thomson Reuters InCites

С институтами ситуация очень похожая - здесь абсолютно все проявили себя на уровне журнала лучше, чем в мировом масштабе.

Что мы увидим у ведущих мировых научных организаций? Тут, как видите, пришлось продолжить ось CNCI вверх, чтобы Гарвард и MIT уместились на графике. С ними всё понятно - публикуются в лучших журналах, да ещё и на фоне самих журналов отлично выглядят.

Соотношение нормализованной цитируемости у
ведущих 
мировых университетов. Источник:
Thomson Reuters InCites

Интересная картина - у лидеров оставшейся части BRIC, исключая Россию. Обратите внимание, что масштаб диаграммы другой, её пришлось увеличить, чтобы разглядеть, поскольку все организации - довольно близко к центру. Видно, что университет Сан-Паулу смотрится чуть хуже других, но, на самом деле, несильно отклоняется от биссектрисы.


Соотношение нормализованной цитируемости у ведущих научных
организаций BRIC. Источник: Thomson Reuters InCites

Это было сравнение организаций. Очевидно, что более высокорейтинговые почему-то действительно оказываются выше и немного левее на графике. А вот теперь действительно интересные вещи. Что будет, если взять одну конкретную научную организацию и отложить на такой же диаграмме все их публикации в разбивке по журналам?

Начнём, пожалуй, с Университета Лобачевского - тем более что Евгений Владимирович Чупрунов, ректор Университета, на семинаре проекта "5top100" в Нижнем Новгороде в сентябре прошлого года сказал: "У нас рост публикационной активности происходит за счёт хороших журналов с хорошим импакт-фактором", - что было просто музыкой для моих ушей. Напомню, окно публикационной активности ограничено 2005м-2014м годами, то есть, периодом до того, как Евгений Владимирович озвучил это заявление.

Соотношение нормализованной цитируемости у Университета
Лобачевского. Источник: Thomson Reuters InCites
Цифры в скобках - это место, которое журнал занимает по импакт-фактору среди остальных изданий в своей предметной области. К сожалению, видно огромное количество хороших публикаций, которым мировой научное сообщество уделило очень мало внимания, и пара высокоимпактовых жуналов - увы, только по физике - в которых публикации цитировались слабо по меркам журнала и сильно по меркам всего мира. Давайте посмотрим на какой-нибудь академический институт - например, Институт Теоретической Физики им. Ландау:

Соотношение нормализованной цитируемости у ИТФ им. Ландау.
Источник: Thomson Reuters InCites

Снова прекрасно видно, что чем выше в своей предметной области журнал по импакт-фактору - тем лучше цитируются работы, и приятно видеть, что удачный выбор журналов (и, безусловно, ценнейшие результаты научных исследований) не ограничиваются сериями Physical Review/Physical Letters. Остались сомнения? Давайте посмотрим на лёгкие здорового человека аналогичную диаграмму для шести самых популярных журналов в Гарварде:

Соотношение нормализованной цитируемости у Гарварда. Источник:
Thomson Reuters InCItes.

Ну и какие выводы из этого мы делаем.

Первый: формализм в управлении научными исследованиями - плохо. Призывы "публиковаться только в индексируемых ведущими международными базами данных изданиях" - и особенно оценка деятельности по валу таких публикаций - заставляет многих учёных выбирать путь наименьшего сопротивления и публиковаться там, где проще, но при этом аудитория у таких изданий составляет не более тысячи человек. Это действительно увеличивает публикационную активность, но снижает цитируемость, по которой у России дела обстоят и вправду плохо.

Второй: решение "Мы добавим 5 наших журналов в ведущие международные базы данных" - верный способ потерять драгоценное время, и к 2020му году не то что не попасть ни в какие рейтинги, а испортить себе все основные показатели, связанные с цитируемостью. Оставьте инициативы по продвижению журналов редакциям самих журналов.

Третий: любая инициатива, смещающая акцент в управлении научными исследованиями с более активного и креативного продвижения научных результатов (которым, как правило, является научная публикация) на агрессивное продвижение научных журналов, гарантированно затягивает цитируемость научных исследований вот в этот квадрант:



Отдельное спасибо за подготовку этого материала моему коллеге и другу Сергею Парамонову, который уже добавил эту методологию к тем консалтинговым проектам, которые он реализовывает для российских организаций.

Monday, 9 February 2015

Международные научные проекты российских университетов

Сегодня мы поговорим о международных исследовательских проектах, в которых участвуют российские научные организации. Частично я уже касался этой темы, когда анализировал влияние участия в ЦЕРНовских проектах на цитируемость России в целом - и университетов в частности, но тема куда более глубокая. Чем ещё интересно международное сотрудничество в науке?

Особенность, которую мы с коллегами в Thomson Reuters отмечаем регулярно и по всему миру: результаты международных совместных исследований в среднем цитируются лучше, чем совместные проекты в пределах страны или города. Давайте посмотрим в InCites, что видно конкретно по России, для примера возьмём Томский Политехнический Университет и посмотрим, с кем в России сотрудники ТПУ работали наиболее активно:

Самые популярные российские научные партнёры Томского Политехнического Университета. Число в круге - количество совместных статей с 2004 года.
Как видно, самое большое количество совместных проектов у ТПУ было с институтами РАН и с расположенным буквально через дорогу ТГУ. Как цитировались эти статьи?

Нормализованная средняя цитируемость совместных проектов ТПУ в России. Единица - среднемировой уровень.
При этом, нормализованная средняя цитируемость самого ТПУ за это время составляет 0,38. Интересно, что совместные работы с самым высокоцитируемым российским университетом - НИЯУ МИФИ - оказались самыми низкоцитируемыми из выборки, также интересен тот факт, что ни в одном из кругов мы не видим числа больше единицы, то есть, в среднем все коллаборации ТПУ внутри России цитируются ниже - или кое-где даже существенно ниже - среднемирового уровня. Самыми успешными оказались 14 совместных статей с МГУ.

Теперь международные проекты.

Самые популярные международные научные партнёры Томского Политехнического Университета. Число в круге - количество таких статей с 2004 года.

Тут плотность результатов гораздо выше, но интересно не это. Интересно вот что:

Нормализованная средняя цитируемость международных проектов ТПУ. Единица - среднемировой уровень.

Надо заметить, что не каждый совместный проект с иностранной организацией обречён на высокую цитируемость - ТПУ повезло с партнёрами, в частности - с Университетом Минессоты, центрами Объединения Гельмгольца и Майнцским Университетом Иоганна Гутенберга. И это неплохая идея для дальнейшего развития науки в российских научных организациях: более активная интеграция в международный исследовательский процесс, при которой во главу угла ставится выбор наиболее авторитетных или эффективно работающих институтов и университетов в тех предметных областях, в которых наши организации хорошо себя проявляют и, следовательно, могут быть интересны иностранцам как потенциальные партнёры.

Было бы великолепно, если бы российские организации имели потенциал для совместной работы друг с другом, позволяющий проводить действительно прорывные научные исследования, которые, в свою очередь, потом регулярно попадали бы в списки самых высокоцитируемых работ, но пока сколько-нибудь значительного количества примеров подобного сотрудничества мне обнаружить не удалось.

На всякий случай я ещё раз приведу врезку о том, что такое нормализованная средняя цитируемость, один из важнейших наукометрических показателей, который показывает, хорошо или плохо цитируются научные статьи - и, главное, позволяет сравнивать результаты исследований в разных предметных областях.

Tuesday, 9 December 2014

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть IV

Заключительный, четвёртый обзор этого года - но он будет продолжен в следующем году, я постараюсь так же публиковать обновления раз в квартал.

Напомню, нас интересуют два показателя университетов: сколько они публикуют (публикационная активность, она же научная производительность) и как всё это потом цитируют во всём мире (цитируемость статей, она же авторитетность, влиятельность или эффективность исследований). Подсчитать первый показатель практически в реальном времени не составит никакого труда, а вот второго надо подождать как минимум пару лет, прежде чем делать какие-то выводы. И тут нам приходят на помощь показатели, по которым правильность или неправильность решений руководства университетов проекта "5-100" о развитии науки в них можно оценить с гораздо меньшей задержкой. Начнём, как водится, с соотношения процитированных и непроцитированных статей 2013 года. 

Соотношение процитированных и непроцитированных работ 2013 года университетов-участников проекта "5-100"
Чтобы было понятно, хорошие это показатели или нет: МГУ - 47,0%, СПБГУ: 46,95%, Россия в целом: 37,17%, Кембридж: 56,48%.

По мере отдаления от даты публикации этот показатель будет уступать в актуальности показателю нормализованного цитирования, так что именно сейчас я впервые попробовал оценить зависимость между этими двумя показателями. График ниже увеличивается при нажатии, зависимость между показателями налицо. Если убрать Высшую Школу Экономики (которая, как я уже не раз писал, активнее других занимается общественными науками, где цитируемость ниже и накапливается дольше), то линейный коэффициент корреляции между этими двумя показателями будет равен 0,83.

Взаимозависимость показателей нормализованной средней цитируемости и соотношения процитированных и непроцитированных работ

Иными словами, по итогам этого года у нас есть четыре университета, чьи статьи в среднем цитируются заметно лучше других, при этом успехи трёх из них - МИФИ, НГУ и МФТИ - мы увидели ещё в первой половине года, а про четвёртый - ВШЭ - сразу сказали, что таким способом не увидим.

Это говорит о том, что, взглянув в марте 2015 года (а это всего через 3 месяца, включая праздники) на аналогичные значения для статей 2014 года, мы с высокой степенью достоверности сможем сделать выводы о цитируемости университетов в этом году. Попробуем уже сейчас провести кое-какие наблюдения, хотя какие-то выводы делать пока и рано:

Соотношение процитированных и непроцитированных работ 2014 года университетов-участников проекта "5-100"
Опять же, как это соотносится с нашими проверочными точками: МГУ - 19,38%, СПБГУ: 16,18%, Россия в целом: 14,22%, Кембридж: 29,57%.

На верхнюю строчку в этом году вырвался МИСИС. Если он окажется на том же месте и через 3 месяца - мы будем присматриваться к нему повнимательнее, поскольку, скорее всего, это уже будет индикатором серьёзного роста цитируемости университета.

Наконец, какие цифры публикационной активности университетов мы увидим в июне 2015 года? В прошлом посте я уже делал достаточно грубый прогноз, теперь я его уточняю. Три университета - Санкт-Петербургский Политехнический, Томский Государственный и НИЯУ МИФИ успели опубликовать за прошедший квартал столько статей, что мне бы надо пересмотреть прогноз, чего я делать принципиально не буду, поскольку должен же я хотя бы раз ошибиться в предсказаниях.

Прогноз итоговых показателей публикационной активности 2014 года университетов-участников проекта "5-100"

Wednesday, 19 November 2014

О важности выбора журнала для публикации

Напомню вам, что несмотря на наметившийся рост научной производительности России (то есть, показателя количества статей в Web of Science), мы всё ещё занимаем 130е место в мире из 150 с показателем 5,54 цитирования на одну статью, опубликованную за последние 10 лет. Это - очень мало, но это не значит, что российские учёные публикуют слабые работы. Почему же российские статьи так скромно цитируются? Недавнее добавление в InCites возможности отслеживания нормализованной цитируемости статей в разбивке по журналам позволяет наконец наглядно продемонстрировать, как выбор журнала для опубликования работы влияет затем на цитируемость статей: учёного, организации или страны в целом.

Почему это важно? Да потому что именно цитируемость работ, а не их количество в Web of Science, является показателем авторитетности или влиятельности - опять же, учёного, организации или страны в целом. Показатель нормализованной цитируемости статей университета занимает 30% веса среди индикаторов рейтинга Times Higher Education, и вот как обстоят дела с этим показателем за последние 10 лет у университетов проекта "5-100" - и давайте я добавлю туда МГУ и СПбГУ, изображение кликабельно:

Нормализованная цитируемость университетов проекта "5-100", МГУ и СПбГУ за последние 10 лет

Если этот показатель так и останется ниже единицы - шансы попасть в ведущую сотню остаются только математическими. Возьмём, например, НИТУ "МИСиС", занимающий в рассматриваемой выборке 8е место с показателем 0,53 (то есть, на 47% ниже среднемирового уровня). В каких десяти журналах за последние 10 лет сотрудники МИСиС публиковались чаще всего и как эти статьи потом цитировались относительно среднемирового уровня?

Цитируемость статей, опубликованных в наиболее популярных среди сотрудников НИТУ МИСиС журналах. Единица - среднемировой уровень

Журналы отсортированы сверху-вниз по количеству опубликованых в них работ сотрудниками НИТУ "МИСиС" за последние 10 лет. В двух "лидирующих" журналах - Russian Journal of Nonferrous Metals (импакт-фактор 0,121, занимает 71е из 75 мест по импакт-фактору в своей предметной области) и Metallurgist (импакт-фактор 0,244 и 63е место из 75) - было опубликовано 303 статьи - 18% от всего, что было опубликовано сотрудниками МИСиС за эти 10 лет, но до сих пор они собрали всего 101 цитирование, а нормализованное цитирование оказалось таким низким, что значение даже не отобразилось на графике: 0,07, то есть, в 14 раз хуже, чем в среднем в мире, что очень заметно тянет вниз общий показатель цитируемости университета.

При этом, самый высокоимпактовый журнал в самой важной для МИСиС предметной области - металлургии - носит название Acta Materialia, имеет импакт-фактор 3,94, и те 13 публикаций в нём, которые успели сделать сотрудники НИТУ МИСиС за последние 10 лет, цитируются на 92% выше ожидаемого уровня в своей предметной области. Не будь этих тринадцати статей - показатель цитируемости всего МИСиС был бы ниже.

Нормализованная цитируемость самых эффективных для сотрудников НИТУ МИСиС журналов

Вдумайтесь в эти цифры. 13 статей в хорошем журнале принесли 256 цитирований - в два с половиной раза больше, чем 303 статьи в двух журналах послабее - здесь мы имеем дело с одной и той же предметной областью, поэтому вполне можем сравнивать абсолютные значения цитируемости.

Может, это просто совпадение? Давайте посмотрим на университет ИТМО в Санкт-Петербурге, который тоже довольно активно наращивает публикационную активность в этом году, и как раз подходит к тому рубежу, после которого очень желательно задуматься о цитируемости статей. Где они публиковали свои работы чаще всего за последние 10 лет?

Цитируемость статей, опубликованных в наиболее популярных среди сотрудников ИТМО журналах.
Ситуация очень похожая - в топе за последние 10 лет находится журнал Journal of Optical Technology с импакт-фактором 0,24, занимающий по этому показателю 80е из 83х мест в своей предметной области, в котором сотрудниками университета было опубликовано 326 статей (17% от общего объёма), которые опять-таки были процитированы в 11 раз хуже среднемирового уровня (нормализованное цитирование равно 0,09).

Самое эффективное использование журнального пространства у ИТМО - это Optics Express с импакт-фактором 3,525 и шестым из восьмидесяти трёх местом в своей предметной области. В нём было опубликовано пятнадцать статей, принесших цитирований в 2,5 раза выше нормы для предметной области "оптика".

Нормализованная цитируемость самых эффективных для сотрудников ИТМО журналов
Какой напрашивается вывод? Существует зависимость между рейтингом журнала по импакт-фактору в своей предметной области и цитируемостью работ, опубликованных в нём. Отечественные учёные вполне могут публиковаться в журналах с огромными аудиториями и значительными импакт-факторами, что самым прямым образом будет способствовать росту цитируемости их статей. Тем не менее, из-за относительной простоты публикации в журналах с невысоким импакт-фактором большое количество статей отправляется именно туда, что не просто "съедает" цитируемость статей, а, что более важно, уменьшает аудиторию, которая может ознакомиться с результатами работы и потенциально на неё сослаться.

При этом, я не хочу сказать, что все российские журналы - плохие и их никто не читает, и уж тем более я не предлагаю прекращать в них публиковаться. Но те из них, для кого попадание в Web of Science является единственной целью, после достижения которой можно расслабиться, едва ли должны быть интересны хорошему исследовательскому институту или университету.

Monday, 6 October 2014

Как Большой Адронный Коллайдер влияет на развивающуюся науку

Сначала у меня была идея провести параллель между "наукометрическим эффектом БАК" и чёрной дырой, но в процессе написания поста я решил, что нефтяная игла - более уместная аллегория.

Сейчас на БАКе ведутся 7 экспериментов, по шести из которых (все кроме MoeDAL) научные публикации выходят с указанием одноимённых коллабораций. Важность этих работ подтверждается их высокой цитируемостью: всего их было опубликовано чуть более трёх тысяч, а процитировать их успели более 21 000 раз (БАК, напомню, заработал на полную мощность 5 лет назад, и большинство работ в течение ближайших пяти лет соберут ещё в два-три раза больше ссылок). Графики ниже позволяют понять масштаб проектов:

Динамика публикационной активности по четырём ведущим экспериментам на БАК

Наукометрические показатели проектов БАК: ось X - коичество статей, ось Y - средняя цитируемость одной статьи, размер круга и число в нём - индекс Хирша

Россия, самая сильная предметная область которой - как раз физика, активно участвует в экспериментах на БАКе, более того - относительная доля публикаций в этих проектах в общем объёме публикаций России за последние 3 года приблизилась к 1%, что уже начинает оказывать небольшое, но влияние на цитируемость отечественной науки.

Зависимость цитируемости российских статей от вовлечённости в коллаборации Большого Адронного Коллайдера

Безусловно, хочется думать, что наши семинары "Бренд учёного: как сделать так, чтобы нас цитировали", которые мы регулярно проводим в России, да и вообще постепенный сдвиг парадигмы в сторону публикаций в более высокорейтиновых журналах, тоже делают свой вклад в увеличение цитируемости российских работ, но давайте посмотрим, что происходит там, где влияние БАКа ещё сильнее - в российских университетах, которые активнее всего участвуют в этих проектах. Обратите внимание: чем выше процент БАКовских работ, тем выше его корреляция с цитируемостью и тем больше, следовательно, её скачок.

Завсисимость цитируемости российских университетов от вовлечённости в коллаборации Большого Адронного Коллайдера

Здесь нужно обратить внимание на то, что у МИФИ были довольно хорошие показатели и до того, как количество БАКовских статей вышло на существенный уровень. Это связано не в последнюю очередь с тем, что МИФИ помимо этого участвует ещё и в коллаборациях ZEUS (эксперимент на коллайдере HERA в Гамбурге) и STAR (на коллайдере RHIC в Брукхейвенской Национальной Лаборатории).

Интересно участие российских университетов в ведущих проектах Большого Адронного Коллайдера: МГУ входит во все 4 важнейших коллаборации, МИФИ - в ALIСE и ATLAS, НГУ - в ATLAS и LHCb.

Всё это означает, что хорошие показатели ряда российских организаций (научно-исследовательских институтов вроде ИТЭФ в том числе) сильно зависят от участия в подобных проектах, Если активность этих конретных проектов пойдёт на спад, это может негативно сказаться на положении упомянутых выше университетов в рейтингах, поэтому надо искать способы диверсификации такого риска. То, что сравнительно небольшое количество высокоцитируемых российских исследований проводится своими силами и без вовлечения в эти коллаборации, само по себе не катастрофа, но тоже характеризует состояние отечественной науки.

Аналогичную картину видно и по другим странам, особенно - бывшим республикам СССР. У Беларуси тоже наблюдается резкий рост цитируемости по итогам 2012 года. Похожая история - у Армении, Грузии и Азербайджана. Более того: у этих стран даже тенденции в объёмах публикационной активности коррелируют: чуть упала активность БАКовских проектов в 2013м году - снизилась и публикационная активность в этих странах.

Зависимость цитируемости Армении и Беларуси от вовлечённости в коллаборации Большого Адронного Коллайдера

Что делать? Здесь нет простого ответа, более того - для каждой организации он индивидуальный, но если говорить о самых общих шагах, то это:
- диверсифицикация указанного выше риска и интенсификация научных исследований в других направлениях;
- переориентирование публикационной стратегии с "просто публиковаться" или "публиковаться как можно больше" на "публиковаться в как можно более авторитетных и влиятельных журналах"
- отслеживание масштабных исследовательских проектов, подобных описанным выше: в каких ещё коллаборациях мы можем пригодиться?

Sunday, 7 September 2014

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть III

Прошло полгода с того момента, как я впервые попробовал оценить этот показатель у университетов проекта "5-100". Что приятно удивляет: в ходе наблюдений лидирующая тройка не меняется - это по-прежнему НГУ, МИФИ и МФТИ. Это ещё раз подтверждает исходную догадку, что метод с ограничениями, но подходит для распознавания возникающих тенденций роста (или снижения) эффективности исследований до того, как его можно будет увидеть на основе других, более распространённых показателей.

Соотношение процитированных и непроцитированных работ университетов-участников проекта "5-100"

После ведущей тройки плотность результатов довольно высокая, и, особенно за прошедший квартал, позиции остальных участников относительно друг друга успели поменяться гораздо сильнее, чем я ожидал. Радует, тем не менее, что у большинства университетов-участников проекта этот показатель выше среднего по России (на момент написания статьи - 31.46%).

Как я писал в своей первой статье на эту тему, метод, в силу особенностей поведения цитирования в общественных науках, практически неприменим к Высшей Школе Экономики. Первые данные по цитированию статей этих университетов, опубликованных в 2013 г., уже доступны в InCites, и там мы можем посмотреть тот самый показатель нормированного цитирования, который применяется в рейтинге Times Higher Education. По нему ВШЭ можно смело относить к четвёрке лидеров среди университетов "5-100". Единица - среднемировой уровень.

Ведущие российские университеты по показтелю нормированного цитирования статей 2013 г.

Причём, такая цитируемость - нормированная по предметной области, году публикации и типу документа - наблюдается у них не только в 2013м году.

Динамика нормированной цитируемости статей, опубликованных с 2006 года

В прошлой, второй статье на эту тему, я упоминал, что уже коплю данные по соотношению процитированных и непроцитированных статей за 2014й год, но по-прежнему считаю, что по этим данным какие-то выводы делать рано. Тем не менее, и там ведущая тройка вместе с НИТУ "МИСИС" и Санкт-Петербургским Политехническим Университетом занимает верхние строчки.

Интересные наблюдения получились с соотношением работ 2013 и неполного 2014 года. Поскольку более половины от ожидаемого количества работ 2014 года уже добавлена в базу, мы можем не только выделить лидеров роста публикационной активности среди университетов в этом году, но и предсказать, сколько статей в Web of Science у них будет по итогам 2014 года (что можно будет увидеть в Web of Science в июне 2015го).

Прогноз показателей публикационной активности университетов

Иными словами, имеется некоторая вероятность, что НГУ по итогам года вплотную приблизится по показателю научной продуктивности к СПбГУ, у которого на настоящий момент за 2014 год имеется 770 статей.

Следующий обзор на эту тему - и уточнённый прогноз показателей публикационной активности университетов - в начале декабря.

Monday, 16 June 2014

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть II


3 месяца назад я попытался использовать показатель соотношения процитированных и непроцитированных работ 2013 года, чтобы сопоставить эффективность работы университетов-участников проекта "5-100". Давайте посмотрим, что изменилось с тех пор.

Соотношение процитированных и непроцитированных работ университетов-участников проекта "5-100"

При этом, средний показатель по России на сегодня: 25,01%.

Существенно изменилась только позиция Томского Государственного Университета, но это - результат не совсем корректных измерений в прошлый раз. Это была внутренняя проблема выверки вариантов написания названий организаций, которую нам удалось решить.

Рискну предположить, что когда у нас появятся первые результаты по нормированному цитированию статей этих университетов (то есть, наиболее точному показателю эффективности их работы) - позиции участников так же будут коррелировать с тем, что вы видите выше. Если моё предположение верно - это означает, что Новосибирский Государственный Университет имеет замечательные шансы усилить свои позиции в рейтингах уже в течение ближайших двух-трёх лет.

Я уже построил точно такую же таблицу по цитируемости статей, опубликованных в 2014м году, но, поскольку цитирований там сейчас очень мало, публиковать эти наблюдения я пока не стану. Интересно другое: раз у нас есть данные по количеству статей каждого из этих университетов за 2013й год (которые применительно к целям нашего исследования уже можно считать окончательными) и за неполный 2014й, мы можем попробовать предсказать основных лидеров роста публикационной активности в этом году. Смотрите, что получается:

Соотношение публикационной активности за полный 2013 и неполный 2014 годы по состоянию на 16 июня 2014 г.

Среднее значение по России и миру на сегодня (довольно близки друг к другу): 29%.

Отличные новости для Томского Политеха и МИСиС, сильнее других прибавляющих в плане публикационной активности в этом году.

Напомню, зачем мы это делаем: модернизация публикационной стратегии университета как часть программы по повышению его конкурентоспособности - процесс длительный, настолько, что стандартными средствами анализа эффект от решений руководства можно будет оценить не через год и не через два. Мы пытаемся найти более оперативные способы оценки этой работы на основе тех показателей, которые можно легко почерпнуть прямо из Web of Science.

Следующий обзор на эту тему - в начале сентября.

Tuesday, 11 March 2014

Соотношение процитированных и непроцитированных работ у ведущих российских университетов

На выходных задумался, а что же мы совсем не пользуемся таким замечательным показателем, как соотношение процитированных и непроцитированных статей для оперативной оценки, например, университетов-участников проекта 5-100? Смотрите, что можно сделать, если сравнить их таким образом за 2013й год:

Процитированные статьи Всего статей Процент процитированных статей
Новосибирский Государственный 272 949 28,66%
НИЯУ МИФИ 134 489 27,40%
Самарский Аэрокосмический 10 41 24,39%
МФТИ 160 695 23,02%
Дальневосточный Федеральный 49 223 21,97%
Казанский Федеральный 83 433 19,17%
ННГУ им. Лобачевского 59 315 18,73%
Санкт-Петербургский Политехнический 57 311 18,33%
ИТМО 49 273 17,95%
НИТУ МИСиС 42 237 17,72%
ЛЭТИ 20 114 17,54%
Уральский Федеральный 91 540 16,85%
Томский Государственный 83 515 16,12%
Высшая Школа Экономики 41 283 14,49%
Томский Политехнический 33 238 13,87%

Особняком здесь стоит только Вышка, у которой показатель ниже среднего всё-таки можно объяснить уклоном в сторону общественных наук, где цитируемость стандартно ниже и медленнее (впрочем, вот здесь есть все основания полагать, что и по этому показателю ВШЭ будет медленно, но подниматься в этом списке), и СГАУ, у которого количество статей пока довольно невысокое. Теперь я раз в квартал, а может, и чаще, буду обращаться к обновлённым показателям, в том числе - за 2014й год, и сравнивать их с приведёнными выше, а результаты обязательно буду выкладывать здесь. Теперь давайте попробуем разобраться, много это или мало в масштабах России.

МГУ: 23.1%
СПБГУ: 22.4%
Россия в целом за 2013й год: 17.2%

А вот - некоторые международные ориентиры:

Cambridge University: 34.9%
Humboldt University (94е место в рейтинге THE за прошлый год): 31.5%

Не думаю, что этот показатель когда-нибудь станет популярным, но в данном случае он интересен тем, что:
- в гораздо большей степени, чем суммарное или среднее цитирование, годится для сравнения организаций, работающих в разных предметных областях (хотя окончательно и не решает проблему с разным поведением цитирования в разных областях знания);
- для его подсчёта не обязательно ждать конкретной даты: срез мы можем сделать когда захотим, главное - чтобы дата выгрузки совпадала по всем сопоставляемым организациям и/или странам. В этой статье выгрузка сделана по состоянию на 7е марта 2014 г;
- есть у меня предположение (дополнительно проверю и результатами поделюсь здесь же), что именно шлейф из большого количества нецитируемых работ так негативно влияет на показатели России в мире, и стремление к снижению их количества на уровне организации или страны в целом как раз может дать толчок суммарным индикаторам.

Наконец, количество процитированных и непроцитированных работ можно очень легко подсчитать, имея под рукой только Web of Science: находим все статьи за интересующий период, сортируем их по цитируемости и, почти как предлагал в своё время Хорхе Хирш,  листаем до страницы, на которой находится граница статей с цитированием 1 и цитированием 0.