Должны ли рецензии предоставляться автору заявки?

[Валентин Сонькин]

/выделено из http://scientific.ru/society/forum.php?topic=137.0 , комментируемый текст - Yermolaev 12.01.2006 23:27, цитата в http://scientific.ru/society/forum.php?topic=137.msg602#msg602 . - модератор (сш)/

"Мне кажется, что требование к фонду (и его обещание) предоставлять рецензию на грантовую заявку нереально.

1. В отличие от рецензии на статью, когда оценивается результат, т.е. нечто объективное, в случае заявки оценивается обещание, причем по-Станиславскому на уровне "Верю - Не верю!"

Таким образом, вместо объективной рецензии возможна только субъективная экспертная оценка заявки. (Объективной, замечу в скобках, может быть оценка квалификации заявителя, и именно поэтому достаточно часто в конкурсе побеждает не идея, а имя!)


2. Не знаю, какой опыт у других участников форума, но мне не приходилось ни разу видеть рецензию какого-нибудь грантового агентства мира.

У меня есть такой опыт. Года 4 назад я участвовал в большой конкурсной гонке за грантами НАСА.
Это было сразу после того, как закончилась программа, которую НАСА финансировала в течение 3 лет, и получила достаточно ценные результаты от наших разных космических НИИ. В той программе тоже был "конкурсный отбор", но довольно специфический - решали все наши начальники. Мне, впрочем, повезло. я участвовал, и это было интересно, полезно и хорошо по деньгам (на тот момент).
Конкурсная заявка, о которой я говорю, потребовала очень больших усилий - нужно было подготовить том порядка 150 стр. на английском, куча анкет, масса разных форм. Сроки были суперсжатые - где-то около недели. Все это нужно было успеть к сроку самолетом переправить в НАСА.
Месяца через 3-4 каждый участник получил развернутую рецензию с расчетом суммы полученных баллов, с объяснением, где и чего ему не хватило для "проходного" балла. В моем проекте. например, рецензенты забраковали описание методики (и правильно: я описывал ее слишком "по-русски", недостаточно четко), и еще они не поняли некоторой терминологии, поскольку мои  статьи с этими вещами были опубликованы у нас, а "там" - не были. В общем, я не только был сам виноват. но и понял - в  чем конкретно. Очень полезная процедура. Правда, на будущий год я участвовать в такой гонке не решился, но это уже совсем другое дело: просто была большая загрузка другими проектами.

Так что рецензирование заявок - вещь не новая, и на мой взгляд, очень правильная. К тому же, если есть рецензия, то есть понимание, что тебя не просто "кинули", а по делу.
Вот мы участвовали в конкурсе за министерские лоты в конце прошлого года, подали 8 заявок, не получили ни одного гранта, но суть не в этом. Суть в том, что по нашей медико-биологической тематике гранты получили Бауманский, институт стали и сплавов... и т.п. Если бы нам были обязаны представить отклонительные рецензии - уверен, что расклад был бы совсем другой: темы-то были в свое время (еще при прежнем министре!) сформулированы нами, мы точно знали, что и как нужно делать, потому что это наш хлеб, это то, в чем мы - профессионалы. Так что обнародование рецензий - не только форма обратной связи, но и форма контроля за действиями чиновников. А нет этого контроля - они дают деньги тем, с кем удобней "договориться". Причем когда мы стали жаловаться, что нас несправедливо "бортанули" - нам прямо так и сказали: надо было договариваться
Были бы рецензии - можно было либо убедиться, что сами идиоты, либо подать в суд... а так  - "у сильного всегда бессильный виноват!"(с)

[AK]

Полностью согласен с Сонькиным. С огромным удивлением обнаружил, что такой человек, как Ермолаев мог написать, что "требование к фонду (и его обещание) предоставлять рецензию на грантовую заявку нереально". Мой опыт общения с CRDF и DFG тоже говорит о том, что эти фонды предоставляют рецензии без купюр. С чужих слов знаю, что NIH не только предоставляет рецензии заявителям, но и предоставляет возможность заявителям писать аргументированные возражения на рецензии, на которые затем рецензенты тоже имеют право ответить. (Если я правильно помню, Егор говорил о том, что такая же процедура существует и в голландском научном фонде).

Предоставление рецензий заявителям - самое главное и необходимое условие прозрачности работы фонда, причем технически и финансово - наиболее легко выполнимое. Но именно потому что оно самое главное и основное, руководство РФФИ, судя по всему, насмерть стоит, чтобы его не воплощать в жизнь.

[Alexei Ivanov]

Я получил рецензию на свой проект ИНТАС. Было это наверное году в 1999-2000, точно уже не помню. Рецензия представляла собой анкету с формальными баллами и приложением с мнением рецензента. Проект у меня не прошел (недобрал пару баллов по 100 бальной шкале и долго болтался в числе, потенциальных проектов к финансированию), так как один из рецензентов низко оценил уровень публикаций и посчитал, что заявленные цели слишком серьезны и поэтому не реализуемы.

ПыСы: Прочитал, что пишет Ермолаев, уже после своего ответа. По сути он не говорит о невозможности рецензии на проект, а понимает под рецензией нечто большее. Так и рецензии на статьи часто представляют собой формализованный опросник с возможностью дать развернутый комментарий. И многие статьи публикуются не потому, что рецензент вник и оценил содержание, а потому, что "имя". Никакой разницы.

[Zadereev Egor]

Мой опыт говорит что CRDF, INTAS and NWO предоставляют рецензии. Более того NWO (голландский аналог РФФИ) дает право автору заявки ответить!!! на рецензию и после этого принимает решение о выдаче гранта.

[Андрей Калиничев]

Насколько я знаю, во ВСЕХ грантовых агенствах или других организациях, принимающих заявки на научные гранты, аргументированные рецензии присылаются авторам заявок, независимо даже от того, положительное ли было принято решение или отрицательное. Единственное исключение, которое я знаю - РФФИ. Вероятно, в РГНФ это тоже так. Так что это все российская специфика, не более того. И действительно, именно эту сторону фунционирования проще и дешевле всего исправить с ОГРОМНЫМ положительным эффектом для науки. Также понятно, почему этого до сих пор не делается.

[Alexei Ivanov]

Более того NWO (голландский аналог РФФИ) дает право автору заявки ответить!!! на рецензию и после этого принимает решение о выдаче гранта.

FWO, а не NWO (http://sun.fwo.be/ или есть еще и NWO?)
У меня был грант от FWO, но рецензию я не видел. Может они предоставляют только отрицательные рецензии, а может не на все виды грантов.

[Zadereev Egor]

Алексей ну ведь очень легко проверить:)) Конечно есть - это Нидерланды.....
http://www.nwo.nl

А FWO это Фландрия:))

[Alexei Ivanov]

Тьфу ты блин. FWO - это бельгийский фонд для фламандской коммьюнити.

[One]

Просто одни пример из жизни - человек подал заявку в РФФИ, ее отклонили. Через некоторое время ему становится известно, что по крайней мере два рецензента оценили заявку по высшему баллу, причем у одного из рецензентов данная заявка была единственной (!) получившей высший балл. То есть - либо третий рецензент (если он был) дал резко отрицательный отзыв, а тогда неплохо бы по крайней мере понять, что там такого ужасного было написано. Либо (что кажется более вероятным) на совете РФФИ было решено заявку не поддерживать, даже при наличии очень положительных отзывов. Что говорит просто о пристрастном отношении к подавшему заявку и тогда рецензии могут очень даже пригодится на случай возможного разбирательства на "высшем уровне".

Так что в "налиме" (если таковый еще состоится) требование об открытости рецензий должно, ИМХО, быть просто на первом месте.

[Alexei Ivanov]

Мне тоже известен именно такой случай.

[Сергей Шишкин]

Кстати, нужно иметь в виду один важный момент: среди потенциальных экспертов в России не так уж много людей, умеющих грамотно писать подробные рецензии. Их не требуют не только фонды (за редчайшими исключениями - Александр обратил наше внимание на "Общую информацию для экспертов" фонда Бортника, http://www.fasie.ru/index.php?pid=176 внизу), но и редакции журналов (обычное явление - рецензент пишет, о чем статья, и дальше заключение: мол, мб рекомендована к опубликованию). Значит, на первых порах будет, видимо, желательна некая подробная форма для рецензии. Обязательно нужны также подробные и внятные инструкции, по возможности с примерами.

Это выглядит чисто техническими деталями, но, видимо, пункт про открытость рецензий - один из важнейших, поэтому сразу же нужно говорить и про то, как именно он мог бы реализовываться с учетом российской специфики.

Надо будет также обратить внимание на то, что нагрузка на экспертов и экспертные советы/комиссии и т.п. возрастет многократно (и, возможно, она должна как-то компенсироваться материально), но оно того стОит.

[Alexei Ivanov]

Сергей, а на кой ляд нужны такие эксперты? И самое главное, что если таких экспертов и полно, то я уверен, что каждый из них мнит себя Экспертом. Откройте экспертизы и всем станет ясно, голый король или на нем есть набедренная повязка.
Балдин прав, пусть сделают хоть что-нибудь реальное.

Результаты экспертизы - грантозаявителю . Программа минимум на этот год.

[Сергей Шишкин]

Алексей, если эксперт не знает, как пристойно написать содержательную рецензию, это еще не значит, что он профнепригоден. У нас же это почти никогда не требуется и этому никто не учит! А если человеку под шестьдесят, то и научиться с нуля будет сложно.

Надо учитывать свойства системы. Если заставлять большое число уважаемых профессоров прилюдно показывать голую задницу, то кончится это какой-нибудь революцией: не только снова сделают рецензии закрытыми, но и вообще фонды могут закрыть. В то же время если помочь людям, которые могут очень даже неплохо разбираться в науке, плавно перейти к новым технологиям, то они, может быть, за это даже спасибо скажут.

Далее, очень вероятно, что эксперты сейчас вообще редко читают проекты далее аннотаций, и без специальных мер подталкивания их к более серьезному анализу все останется как есть, просто в графе "рецензия" каждый напишет несколько обтекаемых строк, и все. Вы будете возмущаться - а фонд скажет: ну что ж делать, время сейчас тяжелое, и так людей в эксперты не затащишь, все работают на пяти работах и т.п.

[Андрей Калиничев]

Алексей, если эксперт не знает, как пристойно написать содержательную рецензию, это еще не значит, что он профнепригоден. У нас же это почти никогда не требуется и этому никто не учит! А если человеку под шестьдесят, то и научиться с нуля будет сложно.

?
Не мудрите. Это значит просто, что он не может составить свое собственное мнение по рецензируемому проекту/статье. Значит он, действительно, не эксперт в данной области. А если может составить научно обоснованное мнение (в этом цель экспертизы), то не должно быть проблем аргументированно изложить его на бумаге в 2-3-4 параграфах.

Надо учитывать свойства системы. Если заставлять большое число уважаемых профессоров прилюдно показывать голую задницу, то кончится это какой-нибудь революцией: не только снова сделают рецензии закрытыми, но и вообще фонды могут закрыть. В то же время если помочь людям, которые могут очень даже неплохо разбираться в науке, плавно перейти к новым технологиям, то они, может быть, за это даже спасибо скажут.

Опять же, не надо мудрить. Никто не призывает делать рецензии прилюдно/публично, тем более показывать голую задницу. Нужно добиться всего-навсего доведения рецензий до автора. Он, конечно, может захотеть сделать их публичными в каких-то крайних случаях. Но:
1) рецензии он получает анонимные (=> никаких прилюдных голых задниц невозможно); 2) в реальности это только возможность опубликования. Ничего не вижу плохого, если угроза такой возможности будет немного сдерживать "большое число уважаемых профессоров" от написания в рецензиях совсем уж абсурдной и не относящейся к делу ахинеи.

Далее, очень вероятно, что эксперты сейчас вообще редко читают проекты далее аннотаций,

Гнать в шею таких "экспертов". С волчьим билетом.

просто в графе "рецензия" каждый напишет несколько обтекаемых строк, и все. Вы будете возмущаться - а фонд скажет: ну что ж делать, время сейчас тяжелое, и так людей в эксперты не затащишь, все работают на пяти работах и т.п.

Извините Сергей, что-то Вы мне своим теоретизированием на пустом месте стали напоминать Александра. Система, на самом деле, работает не просто, а очень просто: и заявители и эксперты - это, по сути, должен быть один и тот же пул профессионалов. Просто в каждом конкретном конкурсе они могут находиться или по ту, или по другую сторону экспертизы. Поэтому, каждый такой профессионал в среднем (скажем, в год) оценивает примерно такое же количество чужих проектов, какое он пишет и подает сам. Поэтому, требования развернутых аргументированных рецензий на свои проекты (если их действительно кто-то хочет получать) - это просто требования "врачу - исцелися сам" =  не хочешь получать "несколько обтекаемых строк" (по моему мнению, это просто не рецензия, и эксп. комиссия должна мнение такого рецензента игнорировать) - пиши сам развернутые аргументированные рецензии на заявки своих коллег-конкурентов.

[Валентин Сонькин]

Сергей, а на кой ляд нужны такие эксперты? И самое главное, что если таких экспертов и полно, то я уверен, что каждый из них мнит себя Экспертом. Откройте экспертизы и всем станет ясно, голый король или на нем есть набедренная повязка.
Балдин прав, пусть сделают хоть что-нибудь реальное.

Результаты экспертизы - грантозаявителю . Программа минимум на этот год.

Полностью поддерживаю все от первого до последнего слова! включая выделенное жирным шрифтом

[Сергей Шишкин]

См также дискуссию по тому же вопросу на Бытии:

http://www.scientific.ru/dforum/scilife/1143096016  и далее по веткам

[Сергей Шишкин]

Пост Андрея Калиничева про слияние двух форумов перемещен в раздел О сайте :

http://scientific.ru/society/forum.php?topic=326.0

[azbel]

Абсолютно согласен с тем, что рецензии грантозаявителям выдавать надо. Наверное, лучше анонимные. Конечно, лучше развернутый текст, но даже анкета с крестиками гораздо лучше, чем ничего, особенно если она грамотно составлена, т.е. предусматривает максимально однозначные ответы на четко поставленные вопросы (не бейте меня все сразу, я понимаю, что это утопия, но к этому надо стремиться!) и тем самым заставляет эксперта отвечать за базар. Для молодых ученых это архиважно еще и из-за воспитательного значения этой обратной связи, а не только с точки зрения повышения объективности экспертизы, вот для них надо бы обязать писать развернутые рецензии.

Немного истории из личной практики. Наш "фонд" (в общем, конечно, никакой он не фонд, а просто организация, распределяющая бюджетные деньги - как, впрочем, и РФФИ с РГНФ тоже), Конкурсный центр фундаментального естествознания, был, похоже, единственным в России, по правилам которого выдавались эксперт-анкеты заявителям по их просьбе, срезая при этом ФИО эксперта, разумеется. Всего мы и дружественные нам организации по такой схеме с 1991 года приняли около 70 тысяч заявок. Так вот, из "взрослых" ученых за анкетой обратилось за всю историю не более двух десятков человек. Молодые были гораздо активнее, что и понятно, но их тоже было сравнительно немного - вряд ли больше двух сотен. И, главное, за все годы поступила только одна жалоба на анкету, причем не на ее заполнение, а на ее форму - автор пытался математически доказать, что вероятность "правильного" заполнения анкеты стремится к нулю. Мне пришлось ему столь же строго доказать, что он написал чушь, после чего он успокоился. Интересующимся могу отправить нашу переписку по E-Mail (или, если модератор захочет, размещу здесь же или в другой ветке).

Наши эксперты прошли при этом хорошую школу, и когда я "сдавал" их для работы в других конкурсах - Интеграция, ФЦНТП, конкурсы Миннауки - то отзывы о них были самые лестные.

В общем, мне очень нравится позиция Андрея Калиничева. Тем, кто не умеет или боится четко выразить свое мнение по вопросу, лежащему в сфере своей компетентности, не место не только в экспертизе, а и в науке вообще. И, как очень убедительно показывает вышеприведенная статистика, важна не столько сама рецензия, сколько возможность ее получения.

[Сергей Шишкин]

Рад видеть Вас на форуме! Выкладывать переписку тут, я думаю, не стОит, но вот статистика, действительно, чрезвычайно показательная и убедительная.

Кстати, как Вы думаете, стоит ли выдавать хотя бы краткую рецензию даже и без запроса со стороны заявителя? (Мне кажется, это, как и рецензии на журнальные статьи, было бы очень полезно для авторов, но если от автора требуется запрос, то, возможно, часть их не хочет грузить фонд лишней работой, или же просто работает инерция...) Насколько это может усложнять работу фонда?

[Железняк Александр]

Кстати, нужно иметь в виду один важный момент: среди потенциальных экспертов в России не так уж много людей, умеющих грамотно писать подробные рецензии. Их не требуют не только фонды (за редчайшими исключениями - Александр обратил наше внимание на "Общую информацию для экспертов" фонда Бортника, http://www.fasie.ru/index.php?pid=176 внизу),

И у нас будет повод проверить это!
Мы собираемся запросить в ленинградском отделении Фонда заключения экспертов в соответствии с фразой на сайте:

"Общая информация для экспертов

1. При оценке разделов и подразделов заявки просьба не ограничиваться односложными заключениями (типа: имеется - не имеется, хорошо - плохо, достаточно - недостаточно, ясно - неясно), а обосновывать свои замечания, так как Фонд по новым правилам должен дать обоснованный ответ заявителю о судьбе его заявки, если такой запрос поступит. Единственная основа такого ответа - это экспертные заключения и протоколы заседаний конкурсной комиссии. Кроме того, особенно радикальные и, главное, слабо аргументированные оценки экспертами заявок в баллах не позволяют конкурсной комиссии в своей работе опираться на заключения экспертов".

Посмотрим, что будет .

[Андрей Калиничев]

...стоит ли выдавать хотя бы краткую рецензию даже и без запроса со стороны заявителя? (Мне кажется, это, как и рецензии на журнальные статьи, было бы очень полезно для авторов...)

Мне тоже кажется, что это очень полезно во многих отношениях. Кроме того, это просто вопрос вежливости и уважения к чужому труду.

Небольшой пример в поддержку этого тезиса. Я, кажется, упоминал как-то на форуме, что летом послал заявку на грант NASA по астробиологии. Ответа пока не получил, так что не все надежды еще потерял, но на днях получил e-mail из NASA, что бюджет на эту программу срезан на 50%, причем уже после проведения конкурса (да, тут такое тоже бывает). Но я не об этом, а о рецензиях. Обратите внимание на аргументацию (выделено мной):


Date: Mon, 20 Mar 2006 15:47:11 -0500
From: Cxxxxx Pxxxxx <cxxxxpxxxx{}nasa.gov>
Subject: Astrobiology Program Status

To the Astrobiology community:

As is widely known, the President's budget request for FY07 that was recently submitted to the Congress contains a 50% cut to the Astrobiology Research and Analysis (R&A) Program.  That Program--which includes the Exobiology and Evolutionary Biology Program (Exo/Evo), the NASA Astrobiology Institute (NAI), the Astrobiology Science and Technology for Exploring Planets (ASTEP) Program, and the Astrobiology Science and Technology Instrument Development (ASTID) Program--had total funding of approximately $65 million in FY05.  As part of the ramp-down to the FY07 funding level, the total budget for the program in FY06 has been cut 28% to just under $47 million.

Even at the requested FY07 funding level we will be able to support a vigorous program of astrobiology research and some technology development.  Obviously, however, it will be about half the size of the current program.  Getting from here to there will be challenging and painful.  I will seek guidance from the astrobiology community about how to approach this adjustment in the long term, but I have had to make some policy decisions regarding near term actions.  The principal decision is to fully fund previous astrobiology competitive awards to the greatest degree possible.  The implication of this policy is that our ability to make new awards in FY06 will be extremely limited.  Nonetheless, we plan to go forward with panel reviews of the proposals we received in late 2005 for all four elements of the program.  The proposing teams put an enormous amount of effort into preparing these proposals and they deserve at least the critical feedback provided by the peer review process. Having the peer review evaluations in hand will also allow NASA to make the most effective use of whatever funds are available for new awards.

....
Thanks,
Cxxxxx Pxxxxxx
NASA Senior Scientist for Astrobiology


Дождемся ли когда-нибудь подобного отношения к грантозаявителям в РФФИ или МОН?

[AK]

Спасибо, Андрей! Крайне уместная цитата. Я бы предложил упомянуть об этом письме НАСА тому (Евгению, очевидно?), кто будет делать выступление на КС. Это будет очень и очень кстати. Как пример уважительного отношения к ученым и государственного подхода к управлению наукой.

[azbel]

Кстати, как Вы думаете, стоит ли выдавать хотя бы краткую рецензию даже и без запроса со стороны заявителя? (Мне кажется, это, как и рецензии на журнальные статьи, было бы очень полезно для авторов, но если от автора требуется запрос, то, возможно, часть их не хочет грузить фонд лишней работой, или же просто работает инерция...) Насколько это может усложнять работу фонда?

При нормальном финансировании так должно быть, действительно. У нас же на сопровождение конкурса тратилось всего 5%, вроде бы у РФФИ даже меньше, но при очень малом объеме гранта (в последний раз для взрослых ученых 60 тыс.руб., а раньше еще меньше) и достаточно большом конкурсе (примерно 4:1) получалось очень мало, экспертам платили всего по 100-150 руб. за рецензию, и на техническое обеспечение оставалось совсем немного. Поэтому мы не рассылали рецензии всем по двум причинам. Первая - чисто техническая, связанная с работой почты в те времена и дороговизной ксероксов. E-Mail был тогда далеко не у всех заявителей, да и послать на этот E-Mail под UUPC скан с анкеты вряд ли получилось бы, а об экспертизе через Internet не могло быть и речи. Вторая - мы не могли за такие деньги требовать с экспертов развернутые заключения. Ну, это уже история, так, для справки. Возможно, с такими же проблемами сталкивалось когда-то РФФИ, там тоже не всегда были большие гранты и не всегда обильно платили экспертам.

Сейчас же, думаю, у фондов не должно быть ни малейших проблем. Может быть, я не избалован, но, когда меня приглашают поработать экспертом за сумму порядка 1000 руб. (это не РФФИ, сколько там, не знаю), я читаю проект от корки до корки и не один раз, и, разумеется, пишу достаточно развернутое заключение, за каждое слово которого готов ответить. При электронной экспертизе послать анкету с рецензией вообще не проблема, при бумажной добавляется операция сканирования, но при современной технике это тоже не слишком большой труд.

[azbel]

Как пример уважительного отношения к ученым и государственного подхода к управлению наукой.

P.S. Забыл сказать еще вот о чем. Мне кажется, что мы не вправе что-то требовать от частных или иностранных фондов, они хозяева, как и кому хотят, тем и дают. Вопрос их репутации - это их проблемы. Но мы абсолютно вправе знать, куда и как распределяются деньги, поступившие от наших налогов или от продажи нашей нефти (да-да, не "их", а именно "нашей"). Раз уж государство претендует на демократичность и открытость, то работа государственных фондов должна быть абсолютно прозрачной.
Кстати, про фонд Бортника говорят, что он действительно честный. Бывает и так...

[Железняк Александр]

Фонд Бортника неоднороден. Можно почитать отклики на форуме Фонда. Говорят и пишут разное.
Мой опыт подсказывает, что если в Москве в Фонде весьма толковые и воспитанные люди, то в Питере - хамы и жулики. Не все , конечно , но те, с кем только что столкнулся: Конников из Физтеха, Попова из Политеха:-) Сначала все выясняли , как это у нас получается - защита прошла с криками "не верю!"- а потом , когда дошло, не сделав ни одного замечания по существу, объявили, что хватит с нас одного гранта (который вообще-то в другом регионе, в другом году, по другой теме, и в коллективе другого состава), и мы считаемся недопущенными к конкурсу - и валите отсюда. А что они напишут в заключении - вообще богу ведомо. Так что и так бывает.

[Сергей Шишкин]

Еще обсуждение на Бытии:

http://www.scientific.ru/dforum/scilife/1152779087
Еще раз об отказе РФФИ предоставлять рецензии экспертов заявителям
АК - 13.07.2006 12:24

[Сергей Шишкин]

Стенограмма круглого стола «Система мотивации молодых ученых к активной научной деятельности», прошедшего 25 мая 2007 года в зале Коллегии Министерства образования и науки РФ, http://www.strf.ru/client/events.aspx?ob_no=5198

Андрей ПЕТРОВ, генеральный директор государственного учреждения «Государственная Дирекция целевой научно-технической программы»:

На все запросы заявителя мы отвечаем положительно и предоставляем рецензию, но только заявителю рецензию по его заявке.

[Сергей Шишкин]

http://www.strf.ru/client/events.aspx?ob_no=6754
Круглый стол «Конкурс программ развития научно-исследовательских институтов: основные цели и критерии отбора»
STRF.ru, 21 ноября 2007 г.

Сергей ЛЕБЕДЕВ: ... мы сломали очень много копий с Роснаукой, но в приказе об организации экспертизы, который вывешен во внешней сети в открытом доступе, есть очень простой пункт, что организация-заявитель, которая не выиграла, имеет право получить экспертное заключение по её запросу. Скажите мне, кто-нибудь хоть раз этим пользовался? Это как в анекдоте: «Вы лотерейный билет-то купите!».

Александр ГОРДЕЕВ: Это действительно так. И уже неоднократно говорилось, что по запросу вы получаете заключение.

Сергей ЛЕБЕДЕВ: Мы очень долго за это боролись, с очень большим трудом мы этот пункт протолкнули в приказ, но оказывается, что это никому не надо.

Владимир ПОРОЙКОВ: Никто об этом не знает, потому что во всех других конкурсных учреждениях, в которых мы принимаем участие на международном уровне, рассылается по электронной почте просто автоматом. Почему это нельзя сделать по дефолту, что все получают негативные замечания?

Александр ГОРДЕЕВ: Наверное, не все хотят. Во-вторых, определённая трудоёмкость в этом есть. Вы не читаете документы, а мы оказываемся в этом виноваты.

[Сергей Шишкин]

http://www.scientific.ru/dforum/scilife/1213287246

Кстати, участвуя во многих заявках на гранты в различных фондах мира, я ни разу не получал рецензий, в лучшем случае - некий опросник с расставленными баллами. На мой взгляд, опросник с баллами - лучший и достаточный формальный критерий для ранжирования нескольких тысяч заявок, позволяющий фонду решить его основную задачу - дать деньги тем, кого эксперты назвали сильнейшими.

http://www.scientific.ru/dforum/scilife/1213533717

Участвуя в экспертизе многих заявкок из разных стран (США, Финляндия, Австрия, Швейцария, Израиль, Франция, Бельгия, кажется, что-то еще, сейчас не вспомню), я всегда был обязан писать словесную мотивировку поставленным баллам, причем в большинстве случаев мне прямо указывали, что этот текст будет доступен авторам заявки. В панелях, в которых я принимал участие (АН Финляндии - кстати, финнов в панели не было, только секретарши), написание словесной рецензии было существенной частью процедуры, специально уточнялись формулировки, чтобы авторам было понятно, что вызвало сомнения экспертов.

Во многих фондах заявитель знает, как устроен вопросник, поэтому может сформулировать проект так, чтобы его было удобно оценивать (ну и так, чтобы выгодно представить свои сильные стороны именно с точки зрения критериев).

Экспертный вопросник РФФИ безнадежно плох, если бы получилось его существенно переделать, то вполне можно было бы сообщать заявителям как баллы (сейчас есть только суммарный балл, что бессмысленно), так и словесные оценки отдельных пунктов. В секции, про которую я знаю, наличие одновременно численного балла и словесной рецензии - при все убогости существующего вопросника - все равно полезно, так как позволяет сопоставить шкалу разных экспертов (нередки случаи, когда эксперт пишет полностью положительную рецензию, и при этом ставит балл, который убивает заявку - как правило, это "молодые" эксперты с малым числом оцениваемых заявок). В таких случаях наличие словесной рецензии критичесски важно для панели (должен оговориться - эта панель, по-видимому, одна из немногих, которая в силу заложенных традиций старается работать относительно честно и по уму).

Кстати сказать, такие казусы - сильный довод против внешне правильных призывов к "ротации экспертов": пробовали, получилось только хуже. Другое дело, что разумно было бы, сохраняя в относительной неприкосновенности существующую систему (но разогнав особо позорные секции), создать параллельный поток больших грантов с нормальной международной экспертизой уже без скидок на обстоятельства. А в качестве предварительно меры - усовершенствовать экспертный вопросник, так, чтобы он давал меньше возможности для произвола, а, с другой стороны, облегчал работу добросовестному эксперту.

[Сергей Шишкин]

Дискуссия по теме с Андреем Блиновым из РФФИ:

http://www.scientific.ru/dforum/scilife/1230042596 и подветки далее