"опросный лист" - форма для сбора информации о фондах

[Евгений Онищенко]

Для того, чтобы собирать и систематизировать информацию о многочисленных разнокалиберных фондах и организациях, проводящих конкурсы в сфере образования и науки, (конечно, и об организации конкурсов и механизме проведения экспертизы в этих фондах) необходима стандартизованная форма для сбора информация, которая позволяла бы получить все основные сведения о работе каждого фонда. Я попытался набросать черновик такого "опросного листа" - формы, заполняемой нами при очном и заочном знакомстве с работой фондов. Он приведен ниже. Надеюсь, я ухватил все основные моменты и не слишком злоупотребил второстепенными.

******************
1. Общие сведения о фонде/организации

1.1. Название

1.2. Инициаторы создания

1.3. Год начала деятельности

1.4. Статус (государственная организация, некоммерческая организация и т.д.)

1.5. Сфера деятельности (наука и/или образование, отдельные области науки/образования, отдельные возрастные группы в какой-то области науки/образования и т.д.)

1.6. Масштаб деятельности (общегосударственный, ведомственный, региональный и т.д.)

1.7. Виды конкурсных программ, осуществляемые фондом/организацией (конкурсы инициативных проектов научных групп, индивидуальные гранты, персональные стипендии, коллективные или индивидуальные премии и т.д.) с указанием формального статуса финансовых выплат для победителей конкурсов (государственный контракт, грант и т.д.)

1.8. Общий объем финансирования всех конкурсных программ

2. Количественные показатели работы фонда/организации

2.1. Число заявок по разным видам конкурсов  (как минимум - в нескольких основных "номинациях")

2.2. Количество присуждаемых ежегодно грантов, стипендий, премий по различным видам конкурсов (как минимум - в нескольких основных "номинациях").

2.3. Характерный размер грантов, стипендий, премий

2.4. Количество штатных сотрудников

2.5. Количество внешних экспертов, привлекаемых ежегодно к экспертизе по различным видам конкурсов

3. Организация проведения конкурсов и механизм проведения экспертизы

3.1. Способы оповещения о проведении  конкурса (бумажные и электронные СМИ, сайт организации и т.д.).

3.2. Доступная информация о конкурсе (информация по срокам и оформлению заявок, критериях оценки, процедуре оценки и т.д.)

3.3. Способ отбора участников конкурса: заявительный (инициатива исходит от самих претендентов на получение финансирования), рекомендательный (участники конкурса рекомендуются экспертами, начальством и т.д.), другое

3.4. Способ формирования корпуса экспертов
3.4.1. Механизм поиска и отбора экспертов (рекомендации уже работаюших экспертов или сотрудников фонда, случайная выборка из имеющейся базы данных по потенциальным экспертам и т.д.)
3.4.1. Квалификационные требования к экспертам
3.4.3. Процедуры ротации состава корпуса экспертов (если прописаны жесткие процедуры)

3.5. Механизм распределения заявок по экспертным советам и экспертам (распределение по кодам классификатора или ключевым словам (очень желательно получить сведения об используемом классификаторе), распределение заявок по экспертам или экспертным советам "на глазок" и т.д.).

3.6. Экспертная анкета (расписаны ли критерии оценки по различным показателям в баллах, требуется ли от экспертов писать более или менее развернутый отзыв по существу заявки). Желательно взять образцы таких анкет хотя бы по основным видам конкурсов.

3.7. Процедура отбора победителей (сколько существует этапов оценки заявок и каковы они, в т.ч. обязательно указать, предусмотрен ли этап индивидуальной независимой оценки заявок экспертами, сколькими экспертами независимо оценивается каждая заявка).

3.8. Публикация результатов конкурса (практикуется ли публикация списков победителей в интернете и СМИ, обнародуются ли суммы по проектам)

3.9. Обратная связь с заявителями (доводятся ли до заявителей отзывы экспертов, сумма набраных заявкой баллов, проходной балл и т.д.)

3.10. Возможности оспаривания решения экспертов (существует ли возможность апелляции в принципе, есть ли конфликтные комиссии и т.д.)

3.11. Отчетность
3.11.1. Обязательства победителей конкурса (если есть - перечислить, хотя бы по основным видам конкурсов)
3.11.2. Экспертная оценка отчетов (если есть - в какой форме ведется, сколь значительное внимание ей уделяется)
3.11.3. Публикация отчетов (или их части) (если есть, то что именно публикуется и в каком виде - в интернете, в виде печатных сборников и т.д.)

3.12. Использование сети интернет (существует ли сайт организации, есть ли возможность загружать заявки через сеть интернет и проводить индивидуальную оценку заявок экспертами через интернет, поддерживаются ли базы данных по заявителям, победителям и экспертам и т.д.)

4. Дополнительная информация

[Евгений Онищенко]

В этой теме, собственно, принимаются предложения по улучшению этого листа.

Я бы сам вот еще что добавил.

В п. 3.4. еще один подпункт - привлекаются ли к работе эксперты из-за пределов территориального охвата фонда,т.е. для региональных фондов - из-за пределов региона, для общероссийских фондов - из-за границы ( диаспора или иностранцы)

В п. 3.11. также дополнительный подпункт - форма и объем отчетности.

[Михаил Бурцев]

В анкете нет числа исследователей, которых покрывает фонд. Грант может быть на 1 человека или на 100. Это важный параметр, было бы неплохо его включть тоже.

[Евгений Онищенко]

Да, пожалуй, можно ввести в раздел количественные характеристики и пункт "среднегодовое число получателей помощи фонда (включая рядовых участников проектов)".

[PVN]

Жень, еще ключевой момент - оценка результативности выполнения грантов... Как оцениваются отчеты, что есть критерии эффективности реализации целей фонда...

[Евгений Онищенко]

Вася, согласен, оценка результативности - это важнейший момент. Но я бы предлагал заняться им чуть позже, "на втором этапе" - тут требуется независимый анализ их баз данных по отчетам, и нам нужно серьезно подумать, как это толково организовать.

[Александр Азбель]

Можно добавить еще:

в раздел 1:

- периодичность конкурсного цикла (конкурсы проходят непрерывно, несколько раз в год, один раз в год, раз в несколько лет)

- источники финансирования (слегка перекликается со 1.4 и 1.7, но не полностью)

- механизмы финансирования (упоминается в 1.7, но я бы выделил отдельно)

- формальные квалификационные и возрастные требования по основным номинациям (упомянул бы особо в 1.7)

- ограничения на получение других грантов и повторное получение грантов в данном фонде

- Василий правильно напомнил - декларируемые цели фонда, если они есть.


в раздел 2:

- сроки действия грантов по основным номинациям

- распределение заявок и грантов по регионам, вузам, возрастам, категориям и пр. - лучше бы брать просто "сырые" данные с сайта фонда или по договоренности и анализировать самим

п. 2.4, про количество штатных сотрудников, я бы убрал. Это неважно, IMHO.

[Евгений Онищенко]

Спасибо! Вечером сведу все предложения в новый вариант опросного листа. А сейчас напишу коллегам по группе всем, что работа еще только начинается.

P.S. Про штатную численность тоже небезынтересно, в принципе (чтобы сопоставить с объемом конкурсного финансирования).

[PVN]

Да еще один важный момент. после бюджета - % средств расходуемые на административные издержки, в том числе на проведение экспертизы...

[Евгений Онищенко]

Я об этом думал, но не стал включать. Даже не потому, что не везде захотят делиться такой информацией, а потому, что в ряде случаев это, наверное, даже сложно корректно оценить. Впрочем, если народ посчитает, что нужэно записать и такой пункт - запишем.

[Евгений Онищенко]

Внес основную часть предложенных дополнений и исправлений.

Не учел (пока) две, по сути, вещи.

1. Оценку результативности и сбор статистики по получателям. Этим заниматься необходимо, но, наверное, это "второй этап", для которого стоит отобрать только часть из обследованных фондов (РИНКЦЭ в части грантов президента, РФФИ и РГНФ, например, + еще несколько фондов) - работа серьезная и трудоемкая.

2. Ограничение на получения грантов из других и того же фонда. Насколько это актуально вообще и насколько часто встречается?

P.S. Мысль "по ходу дела". Когда кто-то из нас будет заполнять какие-то отчетные формы, думая про себя "и какой идиот это все выдумал?!", предлагаю вспомнить об этом опросном листе и быть к тем идиотам снисходительнее.

******************
1. Общие сведения о фонде/организации

1.1. Название

1.2. Инициаторы создания

1.3. Год начала деятельности

1.4. Статус (государственная организация, некоммерческая организация и т.д.)

1.5. Сфера деятельности (наука и/или образование, отдельные области науки/образования, отдельные возрастные группы в какой-то области науки/образования и т.д.)

1.6. Масштаб деятельности (общегосударственный, ведомственный, региональный и т.д.)

1.7. Виды конкурсных программ, осуществляемые фондом/организацией (конкурсы инициативных проектов научных групп, индивидуальные гранты, персональные стипендии, коллективные или индивидуальные премии и т.д.) 

1.8. Периодичность конкурсного цикла (конкурсы проходят непрерывно, несколько раз в год, один раз в год, раз в несколько лет)

1.9. Источники финансирования

1.10. Формальный статус финансовых выплат победителям конкурсов (государственный контракт, грант и т.д.)

1.11. Общий объем финансирования всех конкурсных программ

2. Количественные показатели работы фонда/организации

2.1. Число заявок по разным видам конкурсов  (как минимум - в нескольких основных "номинациях")

2.2. Количество присуждаемых ежегодно грантов, стипендий, премий по различным видам конкурсов (как минимум - в нескольких основных "номинациях").

2.3. Cреднегодовое число получателей помощи фонда (включая рядовых участников проектов).

2.4. Характерный размер грантов, стипендий, премий

2.5. Cрок, на который выдаются гранты, стипендии (хотя бы по основным номинациям)

2.6. Количество штатных сотрудников

2.7. Количество внешних экспертов, привлекаемых ежегодно к экспертизе по различным видам конкурсов

3. Организация проведения конкурсов и механизм проведения экспертизы

3.1. Способы оповещения о проведении  конкурса (бумажные и электронные СМИ, сайт организации и т.д.).

3.2. Доступная информация о конкурсе (информация по срокам и оформлению заявок, критериях оценки, процедуре оценки и т.д.)

3.3. Способ отбора участников конкурса: заявительный (инициатива исходит от самих претендентов на получение финансирования), рекомендательный (участники конкурса рекомендуются экспертами, начальством и т.д.), другое

3.4. Формальные квалификационные и возрастные требования к участникам конкурса по основным номинациям.

3.5. Способ формирования корпуса экспертов
3.5.1. Механизм поиска и отбора экспертов (рекомендации уже работаюших экспертов или сотрудников фонда, случайная выборка из имеющейся базы данных по потенциальным экспертам и т.д.)
3.5.2. Квалификационные требования к экспертам
3.5.3. Процедуры ротации состава корпуса экспертов (если прописаны жесткие процедуры)
3.5.4. Привлекаются ли эксперты из-за пределов "территориального охвата"  фонда (для регионального фонда - эксперты из других регионов, для общероссийского фонда - люди, работающие за пределами России).

3.6. Механизм распределения заявок по экспертным советам и экспертам (распределение по кодам классификатора или ключевым словам (очень желательно получить сведения об используемом классификаторе), распределение заявок по экспертам или экспертным советам "на глазок" и т.д.).

3.7. Экспертная анкета (расписаны ли критерии оценки по различным показателям в баллах, требуется ли от экспертов писать более или менее развернутый отзыв по существу заявки). Желательно взять образцы таких анкет хотя бы по основным видам конкурсов.

3.8. Процедура отбора победителей (сколько существует этапов оценки заявок и каковы они, в т.ч. обязательно указать, предусмотрен ли этап индивидуальной независимой оценки заявок экспертами, сколькими экспертами независимо оценивается каждая заявка).

3.9. Публикация результатов конкурса (практикуется ли публикация списков победителей в интернете и СМИ, обнародуются ли суммы по проектам)

3.10. Обратная связь с заявителями (доводятся ли до заявителей отзывы экспертов, сумма набраных заявкой баллов, проходной балл и т.д.)

3.11. Возможности оспаривания решения экспертов (существует ли возможность апелляции в принципе, есть ли конфликтные комиссии и т.д.)

3.12. Отчетность
3.12.1. Обязательства победителей конкурса (если есть - перечислить, хотя бы по основным видам конкурсов)
3.12.2. Форма и объем отчетности.
3.12.3. Экспертная оценка отчетов (если есть - в какой форме ведется, сколь значительное внимание ей уделяется)
3.12.4. Публикация отчетов (или их части) (если есть, то что именно публикуется и в каком виде - в интернете, в виде печатных сборников и т.д.)

3.13. Использование сети интернет (существует ли сайт организации, есть ли возможность загружать заявки через сеть интернет и проводить индивидуальную оценку заявок экспертами через интернет, поддерживаются ли базы данных по заявителям, победителям и экспертам и т.д.)

3.14. Планирует ли фонд/организация в ближайшем будущем усовершенствовать процесс организации конкурсов и экспертизы, если да, то как

4. Дополнительная информация

[Александр Азбель]

Да еще один важный момент. после бюджета - % средств расходуемые на административные издержки, в том числе на проведение экспертизы...

Вообще на издержки - я бы не стал спрашивать. А вот что действительно интересно и не должно быть слишком секретно - размер оплаты труда экспертов за один проект (естественно, лучше бы по каждой номинации).

Не учел (пока) две, по сути, вещи.

1. Оценку результативности и сбор статистики по получателям. Этим заниматься необходимо, но, наверное, это "второй этап", для которого стоит отобрать только часть из обследованных фондов (РИНКЦЭ в части грантов президента, РФФИ и РГНФ, например, + еще несколько фондов) - работа серьезная и трудоемкая.

Результативность - да, это тяжело. Статистика - не проблема, думаю, сможем помочь.

2. Ограничение на получения грантов из других и того же фонда. Насколько это актуально вообще и насколько часто встречается?

В конкурсах Минобразования такое было - нельзя было получать грант в разных конкурсах на одну и ту же тему. Мы даже снимали с финансирования за это, были забавные случаи :-) Реально это, по-видимому, встречается не часто.

[Евгений Онищенко]

Даже сбор статистики (если она самим фондом не ведется) - трудоемкая роль. Хотя в РФФИ это должно быть точно, ну да все же мне кажется, что это нужно делать отдельно от заполнения "опросного листа" - как продолжение (более углубленная работа по фонду).

[Александр Азбель]

Даже сбор статистики (если она самим фондом не ведется) - трудоемкая роль. Хотя в РФФИ это должно быть точно, ну да все же мне кажется, что это нужно делать отдельно от заполнения "опросного листа" - как продолжение (более углубленная работа по фонду).

Да, разумеется. Идеальный вариант - брать просто списки победителей с сайта фонда и считать самим. В этом самое трудоемкое - следить за списком организаций. Мы когда-то сделали такое с "Университетами России" и представили кое-какие результаты в Минобразования, в частности, про дублирование некоторых фамилий в списках победителей (и в дирекции Программы, кстати ) Говорят, что даже кое-какие оргвыводы были сделаны... Жаль, что на сайтах обычно очень скудная информация.

[PVN]

Саш, вот поэтому она там и скудная ) Чем меньше информации - тем меньше вероятность, что кто-то посчитает... А вот как заставить всю принципиальную информацию выкладывать - думать надо 

[Александр Азбель]

А чего тут думать - трясти надо Как и с экспертизой. Добровольно открывает значительную информацию, похоже, только фонд Бортника. Оно и не удивительно, при таком названии единственный путь избежать массовых подозрений Бог знает в чем - это максимальная открытость.

А трясти пока сил нет И к стволу подпустят ли?

[Евгений Онищенко]

Мой вклад в копилку нашей группы - кой-какая информация по РФФИ в этой ветке -
http://www.scientific.ru/dforum/scilife/1155157152 (распределение грантов по городам в области естественных наук за несколько лет, анализ количества публикаций в итоговых отчетах по проектам РФФИ в области физики и астрономии).