Что отражает зеркало?
Научная политика
№ 15(2017)

14.04.2017


Недавно в “Поиске” было напечатано интервью с проректором Московского государственного университета им. М.В.Ломоносова, председателем Совета по науке при Минобрнауки РФ, членом Научно-координационного совета ФАНО академиком Алексеем Хохловым (“У зеркала”, №11, 2017). Он ответил на вопросы, связанные с появлением на сайте ФАНО публикационных рейтингов академических институтов, в создании которых академик принимал непосредственное участие. В редакцию поступил отклик заведующего лабораторией Института физиологии растений РАН, профессора Георгия Романова с критикой предложенных показателей оценки научных организаций РАН. Предлагаем его вниманию читателей вместе с комментарием А.Хохлова.

Георгий Романов:
В ответ на опубликованное в “Поиске” толкование составленных ФАНО индикативных рейтингов публикационной активности институтов хочу изложить свое видение этого вопроса. Напомню, публикационные показатели представлены в девяти колонках таблицы, причем каждый столбец дает свой вариант ранжирования институтов. В качестве основного критерия выступает число статей, индексируемых в базе данных Web of Science (WoS) - как суммарно для института, так и в расчете на одного исследователя. 
На мой взгляд, такой способ оценки выглядит неубедительно. Необходимо отдавать себе отчет в том, что научные журналы, включенные в WoS, вовсе не равноценны. Например, российские “Доклады Академии наук” не эквивалентны американским Proceedings of the National Academy of Sciences. Это подтверждают импакт-факторы журналов: у российского он равняется 0,3-0,4, а у американского - около 10. Поэтому для адекватной оценки сравнительной эффективности научных институтов должен быть учтен рейтинг журнала, где опубликована статья. Для этого надо брать в расчет не просто количество статей, а сумму импакт-факторов журналов в WoS, а еще лучше - в Scopus. Эта база принимает в расчет все ссылки, а не только за два года, как WoS, поэтому она более совершенна. 
При этом желательно учитывать вклад авторов данного института в публикацию. Сделать это не сложно, взяв за основу очередность институтов в размещенном под статьей списке. Если оцениваемый институт единственный или находится на первом месте списка, то он получает полные баллы. Если институт расположен на втором месте - 0,75 от полной оценки, а если на третьем и ниже - 0,5. Такая коррекция оценки должна быть сделана как для самой статьи, так и для цитирований на нее. 
Вызывает удивление, что авторы разработки ограничились представлением данных в расчете на одного исследователя. Допустим, в одном институте сотрудник пишет в среднем одну статью в год, а в другом сходного профиля - две статьи. Вопрос: какой институт эффективнее? Если исходить из логики составителей таблицы - безусловно, второй. А если иметь в виду интересы государства, налогоплательщиков, да и просто руководствоваться здравым смыслом, то надо сначала выяснить, в какую сумму обходится одна усредненная статья в каждом из институтов. Если, например, первый институт тратит на одну статью 100 тысяч рублей в год, а второй на аналогичную публикацию - миллион рублей, эффективность первого института в разы выше, несмотря на меньшее количество публикаций. Поэтому надо делить достижения института (общий импакт-фактор статей и общее число цитирований) не на число сотрудников, а на сумму израсходованных институтом денежных средств. 
Собрать сведения в бухгалтериях о годовых бюджетах институтов не составляет труда. Может, правда, возникнуть вопрос, брать ли в расчет только бюджетные средства, или приплюсовать к ним внебюджетные (средства грантов, хоздоговоров и другие). В каждом из этих вариантов есть свои плюсы и минусы, поэтому их стоит использовать в комплексе. 
Таким образом, в результате предлагаемых преобразований оценка эффективности институтов станет более точной и простой. Вместо нынешних девяти колонок останутся две: первая - количество научного знания (в единицах импакт-факторов) и вторая - число цитирований, все - в расчете на затраченный рубль. Те институты, у которых эти показатели будут наибольшими, являются лидерами в своей референтной группе. Для наглядности можно использовать обратные величины, а именно стоимость (в рублях) единицы импакт-фактора и одной полученной ссылки. В этом случае, наоборот, в лидеры выйдут институты с наименьшими показателями. Важно понимать, что сравнивать по этим показателям можно только институты близкого профиля, со сходной экспериментальной базой. 
Дополнительно хотелось бы предложить ФАНО по возможности оградить институты от технической работы по сбору сведений для ранжирования, ведь агентство было создано, как сообщалось, для того, чтобы ученые занимались наукой и не отвлекались на посторонние дела. Все сведения о цитируемости институтов мог бы легко собрать любой сотрудник ФАНО или Минобрнауки, способный работать в Интернете. 
Аналогичные сведения по цитированию, кстати, регулярно обновляются на общедоступном сайте scientific.ru, созданном много лет назад по инициативе самих исследователей. 
Алексей Хохлов:
Согласен с Георгием Романовым в том, что при оценке качества работы института необходимо учитывать разные факторы. Добавлю только - ни один из них не стоит абсолютизировать. 
Собственно, на этом подходе основан утвержденный приказом Министерства образования и науки РФ порядок предоставления научными организациями сведений о результатах своей деятельности в целях мониторинга и оценки. В список входят 25 показателей. Учредитель научных организаций (в данном случае ФАНО) должен для всех референтных групп специальностей разработать на основе методических документов свою внутреннюю систему оценки с использованием наиболее подходящих в каждом случае параметров. 
В число 25 утвержденных показателей результативности входит совокупный импакт-фактор журналов, где опубликованы статьи сотрудников организации, о необходимости учета которого пишет Г.Романов. Есть соответствующий раздел и в обсуждаемых нами таблицах индикативных рейтингов академических институтов, опубликованных ФАНО. 
Таким образом, величины, которые характеризуют средние рейтинги публикаций каждого института, подсчитаны, но как их учитывать при оценке - это отдельный вопрос. Существует мнение, что приписывать статье определенный “вес” в соответствии с импакт-фактором журнала, в котором она напечатана, не всегда правильно. Выбор, повторюсь, будет делать ведомственная комиссия по оценке институтов для каждой референтной группы. 
В любом случае учет импакт-фактора - это операция следующего уровня сложности, она может быть проведена после того, как подсчитано число статей. Нельзя сделать второй шаг, не сделав первый. Это же утверждение относится и ко второму предложению Г.Романова - учитывать вклад в публикацию конкретных авторов. 
В МГУ при вычислении персональных рейтингов сотрудников так делается. При этом способ учета вклада различен для разных областей науки и специальностей. Одни факультеты при вычислении доли ученого в данной статье делят публикацию на число соавторов, а другие - на корень из этого числа. 
В принципе можно приводить публикационные параметры и к величинам финансирования, как предлагает Г.Романов. В новом мировом рейтинге университетов, который сейчас обсуждается, такой показатель, возможно, будет введен. Однако у этого подхода немало критиков. Понятно, что исследования, связанные с экспериментами, значительно более затратны, чем теоретические изыскания. Значит ли это, что, действуя “в интересах государства и налогоплательщиков”, надо закрыть все экспериментальные работы? 
В принципе, мне кажется полезным при оценке институтов учитывать финансовые показатели. Но не стоит связывать деньги с количеством опубликованных статей. 
Вряд ли нужно учитывать базовое финансирование, которое зависит от исторически сложившейся численности организации. Значительно более информативный показатель - сумма средств, заработанных по грантам и договорам. Она характеризует активность сотрудников и значимость проводимых ими исследований.
Что касается порядка сбора сведений для ранжирования, то, насколько мне известно, институты этим специально не занимались. Исходные данные были взяты ФАНО в Федеральной системе мониторинга результативности деятельности научных организаций (sciencemon.ru). Однако некоторые приведенные там цифры явно не соответствовали действительности. У ряда институтов было по сотне статей в год на сотрудника. Чтобы получить корректные цифры, федеральному агентству пришлось уточнять информацию, возможно, путем дополнительных запросов к представившим некорректные данные организациям. 
Составленные ФАНО таблицы, как я говорил в интервью, всего лишь зеркало, поставленное перед институтами. Как им воспользоваться - дело каждого. Можно устранить отразившиеся в зеркале недостатки, а можно его разбить, чтобы не портить себе настроение.
Фото Николая СТЕПАНЕНКОВА

 


Разместить в
 

Отзывы (2)

19.05.2017 14:04 Эксперт
ПОСЛЕСЛОВИЕ К ОТВЕТУ АКАДЕМИКА АЛЕКСЕЯ ХОХЛОВА Ответ академика Алексея Хохлова на мои предложения по совершенствованию методики оценки эффективности научных учреждений оставляет неясными многие аспекты этой проблемы. Импакт-фактор журналов действительно входит в число утвержденных ФАНО показателей индикативных рейтингов, однако лишь в виде среднего значения среди, как можно понять, журналов WoS, в которых опубликованы статьи сотрудников данного учреждения. Однако в таком виде импакт-фактор как показатель теряет смысл. Научные учреждения созданы для добычи нового знания. Общественность интересует, сколько нового знания добыл тот или иной институт за выбранный отрезок времени. Объем нового знания аппроксимируется величиной совокупного импакт-фактора, эта цифра имеет смысл. Но она может быть получена как за счет сотни статей в низкоимпактных журналах, так и единичных статей в журналах с высокими значениями импакт-факторов. Во втором случае показатель среднего импакт-фактора будет гораздо выше, но это вовсе не означает, что институт с низким показателем среднего импакт-фактора добыл меньше нового знания, просто он это знание мог распределить во множестве статей в малопрестижных журналах. Кстати, на сайте ФАНО в объяснении способа расчета среднего импакт-фактора зачем-то включен РИНЦ. РИНЦ - это отечественный показатель, никакого отношения к рассчитываемому в США импакт-фактору он не имеет и в указанном параграфе только путает читателя. А. Хохлов отмечает: "Существует мнение, что приписывать статье определенный “вес” в соответствии с импакт-фактором журнала, в котором она напечатана, не всегда правильно". С этим мнением нельзя не согласиться, одни статьи по качеству превышают уровень журнала, другие могут быть ниже среднего уровня. Любая оценка журнала идет за счет усреднения значимости большого числа статей. Но то же самое происходит и при оценке научных учреждений - там тоже идет усреднение большого числа статей. В результате отклонения качества статей в ту или иную сторону нивелируются и общий результат оказывается вполне релевантным. Далее А. Хохлов заключает: "В любом случае учет импакт-фактора - это операция следующего уровня сложности, она может быть проведена после того, как подсчитано число статей. Нельзя сделать второй шаг, не сделав первый. Это же утверждение относится и ко второму предложению Г.Романова - учитывать вклад в публикацию конкретных авторов". С этим мнением уважаемого академика я категорически не согласен. А. Хохлов, очевидно, не разобрался в сути моих предложений. Их смысл как раз в том, что НЕ НУЖНО считать число статей. Более того, НЕ НУЖНО считать и число сотрудников учреждения (кстати, при их подсчете возникает много неопределенностей). Достаточно, с одной стороны, взять сумму импакт-факторов (т.е. совокупность полученного нового знания), а с другой стороны - сумму затраченных на получение этого знания денежных средств, и поделить одну цифру на другую. Число статей, даже распределенных по уровням (WoS, Scopus, РИНЦ и т.д.) - малозначащий показатель. Любой профессиональный ученый понимает, что полученные результаты можно опубликовать либо в виде немногих больших статей в солидных журналах, либо в виде длинной серии куцых статеек в третьестепенных журнальчиках. Статья в солидном журнале для науки и престижа, безусловно, предпочтительнее, она привлечет внимание, вызовет отклик, будет процитирована. Вообще гонка за количеством статей противопоказана серьезной науке, спортивный подход здесь неуместен. К сожалению, нынешняя научная политика управленцев наукой в РФ толкает ученых на увеличение количества публикаций любой ценой, не обращая внимание на их качество. Эта политика ошибочна и недальновидна, нельзя стимулировать публикацию сырых недостоверных результатов, научная публикация должна "вызреть" так же, как должна созреть дыня перед подачей ее на стол. В противном случае доверие к российской науке может быть подорвано, как было подорвано доверие к российскому спорту при попытках завоевания медалей любой ценой, включая противозаконные махинации. Трудно понять тезис А. Хохлова, что "... не стоит связывать деньги с количеством опубликованных статей" и что "вряд ли нужно учитывать базовое финансирование, которое зависит от исторически сложившейся численности организации". С первой частью еще можно согласиться, т.к. деньги надо связывать действительно не с количеством статей, а с суммой импакт-факторов. Но при чем тут "исторически сложившая численность", которая, кстати, уже в исторически близкое время менялась многократно - остается непонятным. Стоит остановиться на доводе А. Хохлова против оценки институтов по стоимости единицы импакт-факторов: "Понятно, что исследования, связанные с экспериментами, значительно более затратны, чем теоретические изыскания. Значит ли это, что, действуя “в интересах государства и налогоплательщиков”, надо закрыть все экспериментальные работы?". Этот довод приводится достаточно часто, при том, что, несмотря на отсутствие данной "экономической" системы оценки, финансирование фундаментальной науки в России и так, прямо скажем, весьма убогое. Конечно, экспериментальная работа - это основа деятельности большинства естественнонаучных учреждений, и она безусловно должна быть поддержана государством (к сожалению, наше государство перестало финансировать закупки оборудования и реактивов для работ по планам НИР). Практика показывает, что статьи, публикуемые в высокорейтинговых журналах, отличаются, как правило, разнообразием и новизной экспериментальных подходов, применение которых связано с немалыми затратами. Это означает, что при грамотном использовании выделяемых средств они вполне окупаются при публикации статей в наиболее престижных журналах. При этом, конечно, желательно стимулировать и теоретические работы, особенно в условиях хронического недофинансирования, характерного для российской науки. Угнаться за богатыми странами, где науку ценят, лелеют и умеют использовать, нам экспериментально в наших условиях трудно, зато там, где достаточна игра воображения и сила интеллекта (например, в области биоинформатики) - мы могли бы преуспеть. Поэтому я не вижу ничего плохого в том, что предлагаемая система оценки поощряет такие интеллектуальные "прорывы", к сожалению, пока крайне редкие. Что касается сбора сведений для ранжирования, то уважаемый академик, очевидно, совсем не в курсе. Он сообщает, что комиссия ФАНО брала исходные данные в Федеральной системе мониторинга результативности деятельности научных организаций (sciencemon.ru), но кто их туда вносил? Конечно, институты, А. Хохлов сам указывает в начале своего ответа, что в список сведений о результатах деятельности, которые должны были быть предоставлены научными организациями в целях мониторинга и оценки, входили аж 25 показателей (добавим - отдельно по каждому году). При этом при сборе сведений возник ряд сложностей, которые могут поставить под сомнение достоверность показателей, использованных для ранжирования. Первая трудность, с которой столкнулись научные учреждения – это предоставление данных по цитированию в системе WoS, так как требовались скриншоты и предоставление самого поискового запроса. Однако, не все Институты имели на тот момент доступ на сайт WoS и поэтому не могли предоставить скриншоты таблицы анализа суммарной публикационной активности Института, а могли только вручную подсчитать цитирование по каждой публикации. Это была огромная, и, как оказалось, напрасная работа. При этом возникают сомнения по самому поисковому запросу в WoS. Вряд ли в ФАНО проверяли правильность формулировки запроса Институтами. Однако при неправильном запросе выходные данные могут сильно различаться. Например, если написать поисковый запрос, используя не все варианты написания названия Института, то можно недосчитаться большого числа единиц цитирования. С другой стороны, если в запросе указать излишне много вариантов названия Института, то можно приписать себе ещё и много чужих публикаций, т.е. неправомерно поднять цитирование. Институтам предложено самим исключить из получаемых списков публикации, которые не относятся к Институту. Но кто проверяет в итоге, исключили ли Институты чужие публикации или нет? То же самое касается и системы РИНЦ. В данной системе можно получить на выходе большое количество статей авторов-однофамильцев. Опять-таки, проверял ли кто-нибудь в ФАНО данный пункт? Также ряд вопросов возникал и при предоставлении сведений по совокупному ИФ, хотя, как отмечалось выше, представленные в таблице данные по ИФ не несут большой смысловой нагрузки. Удивляет, что среди запрашиваемых данных отсутствовали сведения о грантах, полученных организацией, а также о проведённых научных мероприятиях. Неужели эти важнейшие составляющие деятельности научных организаций ФАНО не интересуют? Можно вполне согласиться с академиком А. Хохловым, что составленные ФАНО таблицы - всего лишь зеркало, поставленное перед институтами. Однако очень бы хотелось, чтобы это зеркало не было кривым, и отражало, а не искажало, реальную ситуацию в науке. Г. Романов
19.04.2017 11:07 Fatal error: Call to a member function getTitle() on a non-object in /data/home/poisknews/public_html/Module/Message/Template/_contentMessages.php on line 15