Шлейф из низкоцитируемых статей

В одном из предыдущих постов я обещал проверить догадку, согласно которой большой шлейф из нецитируемых статей является причиной общей низкой цитируемости российской науки. И проверил. Не думаю, что раскопал нечто сенсационное, но картина получилась красивая, наглядная и немного грустная.

Все эти данные были взяты из InCites (национальные Research Performance Profiles, статьи, опубликованные с 2001 по неполный 2013й год), но, в принципе, то же самое можно сделать и с помощью Web of Science - разница в относительных показателях будет принебрежимо мала, только повозиться тогда придётся чуть-чуть подольше. Публикации были разбиты на группы: с цитированием 0, 1, 2, 3 - и все остальные.

Вот так это выглядит в табличном виде:

А вот так - в графическом, изображение кликабельно:

Да, российские учёные публикуют довольно много статей по математике, где цитирование невысокое, и относительно мало статей по высокоцитируемым предметным областям вроде генетики или онкологии, но общей картины это не меняет. Таким образом, большее количество низко- и нецитируемых статей "съедает" долю тех статей, которые оказывают реальное влияние на контекст сегодняшних научных исследований в мире.

Этот пост я пишу, возвращаясь из Санкт-Петербурга, где мы встречались с университетами-участниками проекта 5-100, в ходе которых мы нашли ещё одну интересную закономерность, проанализировав, где же публикуются их учёные. Об этом - на следующей неделе.

2,44%

Этот пост должен был появиться здесь 8го мая 2012 г., но до последних нескольких недель вопрос о том, как считать относительное количество российских статей в Web of Science, для меня был закрыт - до сих пор я был полностью за то, чтобы измерять процент российских работ по всем типам документов, которые есть в базе. И когда я слышал предложения: "а давайте посчитаем публикационную активность только по журнальным и конференционным указателям" или "давайте сравним только количество статей и обзоров" - у меня возникала полная уверенность, что сейчас начнётся манипуляция цифрами, о своём отношении к которой я уже писал здесь.

Тем не менее, стоит признать, что многообразие научных материалов, расписываемых в реферативных базах данных, приводит к некоторой неоднородности массива данных, которой можно пренебрегать в одних случаях, но которая становится совершенно неприемлемой в других. Если, к примеру, взять книги - в них далеко не всегда аффиляция указывается по тем же стандартам, которые используются в журналах. В результате, поиск по автору для последующей оценки его публикационной активности совершенно не страдает, а вот поиск по адресу для оценки организации или страны в целом - очень даже.

Помимо этого, есть такая вещь как citeable items, если дословно перевести на русский - получится забавное "цитабельные материалы". Идея в том, что Web of Science индексирует все материалы расписываемого журнала, по которым указывается необходимая реферативная информация, это могут быть и авторские колонки, и письма, и т.д. - всего как минимум 38 типов документов. Разумеется, далеко не каждый из них должен быть использован для оценки, поэтому в InCites мы используем уже только citeable items: оригинальные статьи, обзоры и материалы научных конференций, выходящие в журналах Web of Science. Таким образом получается следующее - извините, никак не научусь пользоваться blogger'ом, красивые таблицы умею вставлять только картинкой:

Важно: то, что цифры 2014 года пока неокончательные, это очевидно. Финальные цифры 2013 года будут доступны в мае-июне этого года, мы ожидаем, что абсолютное их количество превысит и показатель 2012, и 2011 г., а относительное - едва ли изменится.

Также можно утверждать следующее: очевидно, что 2013й год был лучше остальных и ознаменовался ростом публикационной активности, как ни считай, а вот цифры 2014го г., хоть пока и находятся в рамках статистической погрешности, меня настораживают.

Эти показатели, покуда вопрос 2.44% актуален, буду обновлять в этом же блоге ежемесячно.

Соотношение процитированных и непроцитированных работ у ведущих российских университетов

На выходных задумался, а что же мы совсем не пользуемся таким замечательным показателем, как соотношение процитированных и непроцитированных статей для оперативной оценки, например, университетов-участников проекта 5-100? Смотрите, что можно сделать, если сравнить их таким образом за 2013й год:

	Процитированные статьи	Всего статей	Процент процитированных статей
Новосибирский Государственный	272	949	28,66%
НИЯУ МИФИ	134	489	27,40%
Самарский Аэрокосмический	10	41	24,39%
МФТИ	160	695	23,02%
Дальневосточный Федеральный	49	223	21,97%
Казанский Федеральный	83	433	19,17%
ННГУ им. Лобачевского	59	315	18,73%
Санкт-Петербургский Политехнический	57	311	18,33%
ИТМО	49	273	17,95%
НИТУ МИСиС	42	237	17,72%
ЛЭТИ	20	114	17,54%
Уральский Федеральный	91	540	16,85%
Томский Государственный	83	515	16,12%
Высшая Школа Экономики	41	283	14,49%
Томский Политехнический	33	238	13,87%

Особняком здесь стоит только Вышка, у которой показатель ниже среднего всё-таки можно объяснить уклоном в сторону общественных наук, где цитируемость стандартно ниже и медленнее (впрочем, вот здесь есть все основания полагать, что и по этому показателю ВШЭ будет медленно, но подниматься в этом списке), и СГАУ, у которого количество статей пока довольно невысокое. Теперь я раз в квартал, а может, и чаще, буду обращаться к обновлённым показателям, в том числе - за 2014й год, и сравнивать их с приведёнными выше, а результаты обязательно буду выкладывать здесь. Теперь давайте попробуем разобраться, много это или мало в масштабах России.

МГУ: 23.1%

СПБГУ: 22.4%

Россия в целом за 2013й год: 17.2%

А вот - некоторые международные ориентиры:

Cambridge University: 34.9%

Humboldt University (94е место в рейтинге THE за прошлый год): 31.5%

Не думаю, что этот показатель когда-нибудь станет популярным, но в данном случае он интересен тем, что:

- в гораздо большей степени, чем суммарное или среднее цитирование, годится для сравнения организаций, работающих в разных предметных областях (хотя окончательно и не решает проблему с разным поведением цитирования в разных областях знания);

- для его подсчёта не обязательно ждать конкретной даты: срез мы можем сделать когда захотим, главное - чтобы дата выгрузки совпадала по всем сопоставляемым организациям и/или странам. В этой статье выгрузка сделана по состоянию на 7е марта 2014 г;

- есть у меня предположение (дополнительно проверю и результатами поделюсь здесь же), что именно шлейф из большого количества нецитируемых работ так негативно влияет на показатели России в мире, и стремление к снижению их количества на уровне организации или страны в целом как раз может дать толчок суммарным индикаторам.

Наконец, количество процитированных и непроцитированных работ можно очень легко подсчитать, имея под рукой только Web of Science: находим все статьи за интересующий период, сортируем их по цитируемости и, почти как предлагал в своё время Хорхе Хирш,  листаем до страницы, на которой находится граница статей с цитированием 1 и цитированием 0.

Научная продуктивность и добавление журналов в Web of Science

Когда перед практически любым управленцем в российской науке встаёт задача повышения эффективности исследовательской деятельности, он, вероятнее всего, предложит два направления работы: (1) активнее и рациональнее публиковаться и (2) добавить больше наших журналов в "ведущие мировые базы данных". Это - нормальная реакция любого человека, который привык видеть дальше своего носа и мыслить стратегически. Первый путь очевидный, но трудный и долгий, поскольку по нему идут все страны мира, второй - хитрый и оригинальный, да и выглядит проще и быстрее. Проблема в том, что первый путь действительно работает, в то время как второй во многом подменяет исходную задачу и настраивает на банальную накрутку показателей при минимальном влиянии на собственно эффективность исследований.

В таких разговорах я всегда предлагаю ответить на простой вопрос: для чего мы это делаем? Задача, напомню, стоит следующая: повысить эффективность исследований, а не продвинуть нашу научную периодику - а это, согласитесь, две разные вещи. Позволю себе отстранённую метафору: если я тренирую футбольный клуб и хочу сражаться в Лиге Чемпионов - я буду изучать опыт тренеров из европейских клубов, уделять больше внимания отбору, подготовке, технике и взаимодействию игроков, а не рекламировать форму и бутсы, в которых они выступают.

Опасно здесь ещё и то, что зачастую эти две задачи - интенсификация собственно научных исследований и продвижение научного журнала - оказываются диаметрально противоположными и противоречат друг другу. Представьте себе российского учёного, которого "просят" отправить его свежую статью не в Nature и не в Physical Review, а поддержать отечественного производителя и отправить её в "аналогичный" российский журнал или без вопросов опубликовать её в вестнике родного университета. Эффект - чем активнее издательство это практикует, тем выше цитируемость у журнала - за счёт показателей нашего учёного. Не берусь оценить масштаб проблемы, но, судя по количеству её упоминаний, что мне довелось слышать за 5 лет работы с Web of Science в России, мы имеем дело с явлением, в целом негативно влияющим на видимость и авторитет российской науки.

Следующий момент - это цитируемость статей. При всём уважении к российским научным издательствам, и аудитория, и средний импакт-фактор у российского журнала - на порядок ниже, чем аналогичный показатель у международных изданий. Безусловно, попадание журнала в базу уровня Web of Science позволит расширить его аудиторию, а значит - и потенциально увеличить цитируемость его статей, но едва ли это позволит наверстать десятикратное отставание при сохранении прежних процессов во многих издательствах. Добавьте к этому такую вещь как отношение к попаданию в подобные базы данных - для некоторых оно всё больше становится целью, а не средством. Мне регулярно поступают запросы от издательств, желающих добавить журнал в Web of Science, и - опять же, при всём уважении к сотрудникам их редакций - мало кто может сам себе ответить на вопрос "для чего мы это делаем?".

В заключение приведу пример стран, с которыми нас так любят сравнивать во всём мире. Не так уж и много осталось людей, незнакомых с взрывных ростом публикационной активности Китая с конца 90х гг (см. график из моего предыдущего поста). Сейчас они публикуют в 8 раз больше статей, чем Россия, но при этом количество китайских и российских журналов в Web of Science практически равно. Индия, ныне публикующая в Web of Science вдвое больше статей, чем Россия, имеет там примерно в полтора раза меньше своих национальных журналов. Причина проста - большинство китайских и индийских статей публикуется в международных научных изданиях.

Несколько полезных ссылок:

- список журналов стран СНГ в Web of Science

- список журналов открытого доступа в Web of Science

- удобный поисковик по названиям журналов во всех присутствующих в Web of Science базах данных

- политика отбора журналов в Web of Science

Рекордный год для Российской науки

С начала февраля прошлого года мы начали выгружать еженедельные (чаще нельзя, поскольку обновляется Web of Science раз в неделю - в ночь со среды на четверг) данные по статьям российских авторов, и к сегодняшнему дню накопили их ровно за один год. И вот что по ним видно (изображения кликабельны):

Еженедельное количество российских статей, попадавших в Web of Science с 7.02.13 по 6.02.14

Первое, что нужно отметить: мы идём с существенным опережением прошлогоднего графика (31 875 статей 2013г. сегодня против 30 528 статей 2012г. год назад). Какое-то количество статей ещё будет добавлено в базу (судя по опыту прошлого года - где-то 3000-4000), и их количество стабилизируется к середине года и составит, как мы прогнозируем, чуть больше 35000. Кто-то скажет, что это - мелочи по сравнению с амбициозной задачей достичь относительного количества в 2,44%, что равняется почти 50000 статей, в 2015 году, но исторически это будет первый случай, когда количество российских статей превысит в Web of Science эту психологически важную отметку. Вот так вела себя публикационная активность стран BRIC последние годы:

Ежегодное количество статей стран BRIC в Web of Science

Такие показатели после более чем двадцатилетней стагнации - это достижение, и я от всей души поздравляю и благодарю российских учёных, сумевших сделать невозможное в условиях не самого простого для отечественной науки года.

Публикационная активность в ведущих мировых журналах - это, безусловно, важно, поскольку является индикатором научной производительности, но как обстоят дела с цитированием, ведь оно указывает на авторитетность и эффективность исследований? Тут мы будем отслеживать обновление консолидированных показателей по странам в нашем другом инструменте, который называется InCites и предназначен именно для оценки и анализа результатов научной деятельности, и обязательно будем делиться новостями здесь. Пока что Россия с показателем 5.34 цитирования на одну статью, опубликованную за последние 10 лет, занимает почётное 129 место из 147 возможных, но мы настроены оптимистично.