От вала к баллу

Ученым велено сопрячь количество и качество

Лексикон ученых скоро обогатится очередной зубодробительной аббревиатурой — КБПР (комплексный балл публикационной результативности). Пока это буквосочетание еще непривычно слуху, но наверняка скоро войдет в обиход — ПРНД (показатель результативности научной деятельности) тоже не сразу научились выговаривать. В отличие от ПРНД, который применяется для оценки работы научных сотрудников, КБПР планируется использовать при планировании госзадания институтов. Скорее всего, однако, на его основании впоследствии будут формироваться и индивидуальные планы работников.

Итак, в середине января руководители подведомственных Министерству науки и высшего образования научных организаций получили от учредителя письмо «О корректировке государственного задания с учетом методики расчета комплексного балла публикационной результативности». Основанием для принятия методики было названо поручение Президента РФ №2558 от 29.12.2018 года, в одном из пунктов которого говорится о необходимости установления единых требований к порядку формирования и утверждения государственного задания на проведение исследований за счет средств федерального бюджета.

Основная цель методики сформулирована просто и ясно: «обеспечить повышение качества публикаций при сохранении темпов роста их количества». Добиться этого предполагается благодаря переходу от валового счета статей, трудов конференций, обзоров, монографий к так называемому фракционному — с разделением вклада в научный результат авторов и организаций и с учетом качества публикаций. Если у работы несколько авторов, баллы распределяются поровну между всеми, при этом доля каждого делится еще и на число его аффилиаций. Институты будут складывать в свои «копилки» доли сотрудников, вычисленные с учетом этих понижающих коэффициентов.

Работам, опубликованным в изданиях, которые индексируются в разных базах данных, присваивается разный «вес». Основной упор сделан на журналы Web of Science Core Collection. Для напечатанных в них статей коэффициент качества составляет 19,7 для изданий из первого квартиля — Q1, 7,3 — для второго, 2,7 — для третьего, 1 — для четвертого квартиля. Для «безквартильных» журналов, входящих в WoS CC, равно как и для проиндексированных в Scopus, а также для монографий (только зарегистрированных в Российской книжной палате) указанный коэффициент равен единице. Публикации, индексируемые в Russian Science Citation Index, оцениваются с коэффициентом 0,75. Самый низкий рейтинг — 0,5 — получили журналы из перечня ВАК.

На основе разработанной министерством шкалы вычисляется КБПР института за 2018 год, и после применения поправочных коэффициентов определяется план по этому показателю на 2020 год.

Учитываются доля госзадания в финансировании (его отделяют от грантов РФФИ и РНФ), а также изменение объема госзадания (прибавка средств должна привести к линейному росту числа баллов). Разумеется, вводится инфляционный коэффициент.

Но главное, по мнению разработчиков методики, организации обязаны постоянно увеличивать публикационную результативность. Какой из сценариев развития прописать институту, министерство определяет, сравнив его показатели с усредненной публикационной результативностью по данному научному направлению организаций первой категории. Для большинства институтов рост за два года должен составить 10%, но для лидеров план снижается до 6,7%, а для отстающих, которые в методике называются догоняющими, повышается до 30% (они должны постоянно сокращать дистанцию с «передовиками»). Так в общих чертах выглядит новая система.

Методика принята взамен прежней, которая был разослана по организациям в январе прошлого года. Многие помнят, что тот документ возник неожиданно и вызвал множество критических замечаний. Положения же нового, как подчеркнуто в письме, «неоднократно обсуждались с представителями ведущих научных и образовательных учреждений, РАН и Профсоюза работников РАН» в рамках заседаний сформированной Минобрнауки рабочей группы. Итоговый вариант одобрен этой рабочей группой и согласован с РАН.

В министерстве уже посчитали и разослали в институты КБПР по госзаданию 2020 года. Интересно, что хотя речь ведется о разработке единых требований к формированию госзадания, методика распространяется только на научные организации, для вузов правила пока не установлены.

Спущенные сверху цифры и сама методика вызвали неоднозначную реакцию научного сообщества. Некоторые ученые с ходу окрестили бумагу очередным порождением бюрократического безумия. Особое раздражение вызвали «навороченные» формулы и «возникающие из воздуха» коэффициенты.

Документ действительно довольно трудно воспринимается, не лишен недостатков и, по-видимому, нуждается в корректировке, написал на своей странице в Facebook вице-президент Российской академии наук Алексей Хохлов. При этом, по его словам, в методике учтены практически все требования, изложенные в постановлении Президиума РАН от 10 апреля 2019 года №56 «О принципах распределения бюджетных средств и установления нормативов публикационной активности для научных организаций».

На первом в этом году заседании Президиума РАН за раскритикованную коллегами методику вступился и глава академии Александр Сергеев. Он отметил, что активное участие в подготовке документа принимали, в частности, сотрудники Физического института им. П.Н.Лебедева. Фактически в основу документа положена система оценки публикационной активности с гибкими коэффициентами, которая в течение последних нескольких лет разрабатывалась, а потом тестировалась в ФИАН и очень хорошо себя показала, сообщил президент РАН.

— Система эта была нам в академии презентована, она разумная, там все настраиваемо, — подчеркнул А.Сергеев.

При этом он согласился, что некоторые моменты в методике стоит поменять, например, «коэффициенты «подергать», сделав так, чтобы всем было удобно».

Глава РАН напомнил, что финансирование науки сегодня жестко привязано к публикационным показателям. Многим ученым это не нравится, но если уж необходимо показывать «цифру», это должна быть честная «цифра», отметил он. Новая система, с точки зрения А.Сергеева, позволит точно установить, «где у нас наука и кто чем реально занимается», и лишит ряд университетов возможности «рисовать себе «звездочки» за чужой счет».

Кстати, проблемы, связанные с «захватом вузами интеллектуальной собственности академических организаций» путем оформления совместителями приходящих с институтскими наработками сотрудников НИИ, на этом же заседании обозначил академик Андрей Забродский.

Было решено подробно обсудить эти темы на ближайшем заседании Президиума РАН с участием разработчиков новой методики из министерства и ФИАН.

Надо отдать должное чиновникам Минобрнауки — они оперативно приступили к разъяснениям новых «правил игры». Буквально через пару недель после обнародования методики министерство провело на эту тему вебинар для представителей институтов. На их вопросы ответил заместитель Департамента стратегического развития, мониторинга и оценки Илья Тихомиров.

Одним из главных был вопрос о том, как отразится на финансировании организации недовыполнение установленного плана. КБПР — качественный показатель, поэтому к не достигшим установленных цифр институтам финансовые санкции применяться не будут, пообещал И.Тихомиров.

Многие помнят, что подобные слова говорились, когда началось деление институтов на категории по итогам оценки результативности. Сегодня, однако, с учетом категорийности распределяется дополнительное финансирование, и даже осуществляется допуск к конкурсам на участие в мероприятиях нацпроекта «Наука».

Интересовались участники вебинара и тем, как «перевести план по баллу в план по валу». Министерством разработан калькулятор, который позволяет рассчитать необходимое количество публикаций для достижения установленного КБПР. С его помощью можно перебрать разные варианты и выбрать оптимальную стратегию, сообщил представитель Минобрнауки. Калькулятор и видеоинструкция к нему выложены в информационной системе «Парус».

Целая группа вопросов касалась правил учета статей. Почему не принимаются к рассмотрению публикации в журналах РИНЦ, не входящих в список ВАК? По мнению чиновников, оценить качество таких публикаций очень сложно. В министерстве не согласны с тем, что это «вытолкнет российскую науку в зарубежье», как было сказано в одном из комментариев. По данным Минобрнауки, половина публикаций в российских журналах индексируется зарубежными базами. Кроме того, существуют большой пул ваковских журналов и российская полка WoS — RSCI.

Почему министерство ориентируется на Web of Science, а все статьи в изданиях, проиндексированных Scopus, ценятся на уровне четвертого квартиля WoS? Оказывается, разработчики системы просто пока не придумали, как соотносить квартили двух этих баз, и для начала решили опираться на WoS, где, по словам И.Тихомирова, присутствуют все сильные публикации из Scopus. Последний сейчас используется больше как «довесок» при расчетах. Более тонкий анализ этой базы данных — в ближайших планах.

О том, что методика будет дорабатываться, в ходе вебинара говорилось не раз. Так, уже в следующем году планируется искусственно повысить квартильность российских журналов, учитывая публикации в них по системе ­ «Q минус один».

Обещано дополнительно подумать и о монографиях. Гуманитариев возмутила их низкая оценка (с коэффициентом единица) вне зависимости от качества. По данным министерства, в отчетах за 2018 год числятся около 30 тысяч записей про монографии. Провести «ручную» экспертизу такого массива не представляется возможным, а машинных методов верификации пока не придумано. Поэтому в министерстве сейчас прорабатывается идея о том, чтобы выделить более качественные монографии, опираясь на уровень издательств, в которых они опубликованы, и, возможно, на объемы и тиражи работ. Кроме того, изучается вопрос об учете монографий, изданных за рубежом и выпущенных в электронном виде.

Скорее всего, в перспективе к расчету будут принимать и патенты. Патентная активность научных институтов по сравнению с публикационной очень невелика, отметил И.Тихомиров, но министерство все же постарается ее учитывать.

Поступило много вопросов и по поводу аффилиаций. Почему иностранные авторы, не получающие средства из российского бюджета, «уводят» свои доли, а с ними и баллы у российских ученых? И.Тихомиров пояснил: если не учитывать всех авторов, может начаться неконтролируемый процесс включения в соавторы коллег из стран ближнего зарубежья или «перетекание аффилиаций» в организации, не подведомственные Минобрнауки.

В министерстве не опасаются того, что такой подход может привести к сокращению междисциплинарных исследований или международного сотрудничества. Статьи, написанные в рамках коллабораций с зарубежными учеными или сильными российскими коллективами, обычно публикуются в высокорейтинговых журналах, и применяемые для них повышающие коэффициенты с лихвой компенсируют «аффилиационные издержки», заявил И.Тихомиров.

В заключение он ответил на ряд технических вопросов. Один из них — по «переходящим» статьям, принятым в печать в конце года и не проиндексированным в отчетный период. Они могут использоваться для отчетов в следующем году, заверил представитель министерства. При этом работы двухлетней давности и старше в учет приниматься не будут.

Если организация считает, что КБПР ей вывели неправильно, она может попросить перепроверить результат. Но самостоятельный доступ ко всей базе данных по направлению, необходимой для пересчета, ей не предоставят, поскольку среди этих сведений много конфиденциальной информации. В министерство уже поступили около 70 таких обращений, и в трех случаях были обнаружены неточности, сообщил И.Тихомиров.

На некоторые вопросы четких ответов не последовало. Например, откуда взялись повышающие коэффициенты для журналов из разных квартилей WoS? Или почему публикационная активность организаций должна расти предписанными министерством темпами?

В общем, белых пятен осталось много, и интерес к данной теме наверняка будет только нарастать. Понятно, почему большую популярность приобрел гуляющий в последнее время по сетям постер: «Из всех наук для нас теперь важнейшей является библиометрия».

Надежда ВОЛЧКОВА

Нет комментариев