Рождественский семинар 26.12.07 (МЦНМО) по проекту создания корпуса экспертов

[Сергей Шишкин]

Рождественский семинар, прошедший 26 декабря в МЦНМО,
в этом году был организован рабочей группой проекта по созданию корпуса экспертов и посвящен этому проекту.


См. также:

Сайт проекта
Предварительные итоги первых 2 месяцев проекта ("первые впечатления рабочей группы") (PDF, 170KB)
Программа семинара (PDF, 185 KB)
Краткий отчет о семинаре (PDF, 150 KB)
Презентация к выступлениям Б.Штерна и М.Фейгельмана (PPT, 250 KB)
Фотоотчет о семинаре

upd: репортаж на Полит.ру:
http://polit.ru/science/2008/01/18/snowball.html
Снежный ком покатился без спросу
18 января 2008, 00:14
Наталия Демина







Организаторы семинара -- МЦНМО и Scientific.ru.
Ведущий -- зам. директора МЦНМО Виталий Дмитриевич Арнольд.



Аудиозаписи семинара


Все звуковые файлы можно скачать также в едином архиве (66.2 МБ): http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov.zip

После ссылки указаны размер файла в байтах и длительность в мин:сек. Перед фамилией каждого выступавшего, задававшего вопросы или подававшего реплики указано время от начала файла в мин:сек.

Перед аудиозаписями помещены цитаты из соответствующих мест Краткого отчета о семинаре.


00- ОТКРЫТИЕ СЕМИНАРА

http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_00__arnold.mp3
843,824  2:20
0:00 Арнольд (ведущий)

В сообщениях членов рабочей группы Б.Е.Штерна и М.В.Фейгельмана были представлены
первичные результаты обработки 160 ответов, полученных после рассылки первичным
выборщикам - специалистам по физике конденсированных сред (далее - cond-mat).

Б.Е.Штерн отметил, что в критике проекта выделяется тема «зачем этот корпус, кого он будет
обслуживать» и процитировал в этой связи одного из критиков, требовавшего
«институциализации». Это сложное слово многкратно повторялось в дискуссии:
• по мнению рабочей группы, надо сначала доказать возможность создания корпуса экспертов
по используемой методике, а потом ставить этот вопрос;
• многие участники высказались за то, что итоговый список экспертов должен быть
опубликован, и корпус экспертов должен быть таким образом открыт для обращений фондов,
комитетов по премиям и т.п.; было из зала и возражение против публикации (как препятствия
анонимной экспертизе);
• утверждалось, что корпус будет дееспособен только в условиях конкуренции экспертных
структур и организаций;
• выражалась надежда на то, что поступят обращения от РФФИ и ФЦП по кадрам;
• звучали предостережения - ни в коем случае не подчинять корпус экспертов какой-либо
государственной или окологосударственной структуре; не допустить «торговли экспертными
услугами»;
• не исключалось, что на каких-то будущих этапах корпус может быть превращен в
общественную организацию.

Оба докладчика комментировали проблему «порога прохождения в эксперты», которая также
упоминалась в дискуссии в последующие три часа. Не встретили особых возражений предложения
о пороге +4 для широко охваченных направлений (коды классификатора 72 - 75, 78) и об
определении порога для других направлений после распространения опроса на другие физические
специальности. Н.А.Формозов (Биофак МГУ) указал на то, что качество экспертизы определяется
прежде всего количеством экспертов, чем задал еще одну тему активной дискуссии - об
оптимизации экспертных процедур. Он обратил также внимание на важность в дальнейшем
экспертной истории каждого избранного. К. В. Северинов (ИМГ; ИБГ; Rutgers Univ) отметил, что
порог должен обеспечить не выборку «самых лучших», а отсутствие в составе корпуса «плохих»,
он также делился богатым опытом научной экспертизы в США. Многие в разном контексте
вспоминали фонд Сороса.

01- БОРИС ШТЕРН



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_01__stern.mp3
8,970,392  24:55
+ см презентацию (PPT, 250 KB)
0:00 Арнольд
0:06 Штерн
  во время выступления:
    5:22 Гельфанд
    7:27 Северинов?
    9:33 Гельфанд?
    9:57 Гельфанд?
    10:18 Арнольд
    10:46 ?
    11:16 Соболев (?), далее - ??
    12:15 ?
  после выступления:
    16:52 Соболев?
    18:45 Гельфанд
    19:07 Мордкович
    19:56 Аксентьева
    20:55, 21:56 Салтыков
    22:25 Соболев 
    24:20 Северинов


02- МИХАИЛ ФЕЙГЕЛЬМАН   



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_02__feigelman.mp3
13,784,788  38:17   
+ см презентацию (PPT, 250 KB)
0:00 Фейгельман
  во время выступления:
    7:37 Гельфанд?
    8:04 Северинов, + 8:20 Гельфанд, 8:50 ?, 9:03 Гельфанд
    9:24 Формозов
    11:09 Костинский
    11:29 Костинский
    13:18, 13:31 Костинский
    13:42 ?
    14:19 Салтыков
    20:52 Гельфанд?
    21:21 Костинский
    22:26 ?
    24:26 Костинский
    24:39 Соболев?
    25:26 ?
    26:13 Аксентьева?
    27:09, 27:38 Костинский
    27:26 Штерн?
  после выступления:
    28:30 Соболев
    28:42 Арнольд?
    29:26 Костинский, + 30:11, 30:36 Арнольд?
    31:55 Чугреев? (химфак МГУ)
    32:25, 32:45 Северинов, реплика 32:38 Гельфанд
    33:30 Гельфанд, + 33:58 Шишкин
    34:23 Салтыков
    37:53 Арнольд? (Андреев??)

М.С.Гельфанд и А.В.Соболев комментировали специфику аналогичного проекта в случае его
распространения на биологию и науки о Земле соответственно. Оба отметили, что в их науках есть
направления, которых в России нет и не будет. Звучали жалобы на слишком быструю динамику в
«модной» биологии (никак не создать стабильного классификатора) и низкое цитирование в
«традиционной» (нужен низкий порог для первичных выборщиков), на клановость ряда
биологических направлений. Выражалась уверенность в том, что в науках о Земле собранный по
механизму «снежного кома» корпус экспертов будет существенно отличаться от состава экспертов
РФФИ. А.В.Соболев выразил готовность к активному участию в проекте на этапе его
распространения на науки о Земле и предложил «внешний аудит» полученного на выходе списка
путем обращения к зарубежным ученым очень высокого уровня (вплоть до нобелевского). У
присутствующих реалистичность такого аудита вызвала сомнения как в смысле согласия
нобелевских лауреатов, так и в смысле противоречия принципу сходимости при ступенчатом
опросе.

03- МИХАИЛ ГЕЛЬФАНД



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_03__gelfand.mp3
10,055,576  27:55 
0:00 Гельфанд
  после выступления:
    13:41 Северинов, + 15:11 ?
    17:52 ?
    18:22 Формозов
    21:33 Северинов
    24:03 Базыкин?
    25:33 Гантмахер


04- АЛЕКСАНДР СОБОЛЕВ



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_04__sobolev.mp3
4,226,384  11:44 
0:01 Соболев
  после выступления:
    04:26 Костинский
    05:11 Северинов
    08:03 Салтыков
    09:00 Арнольд?
    09:24 Рязанов
    10:38 Казанский, + 11:10 Арнольд

А.Л.Юхин комментировал общую ситуацию с частным инвестированием наукоемких проектов в
России, приводил примеры финансирования заведомо «антинаучных» проектов на основе
безответственных заключений, представленных от имени известных научных организаций, за
подписями академических персон. Он подчеркнул важность независимой экспертизы и
формируемого корпуса, но предупредил, что масштаб инвестиций в науку пока не столь велик и
указал на большую значимость проекта создания корпуса экспертов как своего рода социальной
сети в среде ученых.

05- АРТЕМ ЮХИН



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_05__yukhin.mp3
11,139,896  30:56 
0:01 Юхин
  после выступления:
    17:39 Гельфанд
    /22:14 Арнольд?/
    22:27 Гельфанд
    25:40 и далее - не удалось разобраться   
30:07 Арнольд, вступление к дискуссии и представление РГ




Члены рабочей группы Г.Цирлина, М.Фейгельман, Б.Штерн, В.Арнольд

А.К.Казанский (СПбГУ) внес предложение о выборе в составе будущего корпуса экспертов
«офицеров» по каждому научному направлению, осуществляющих контакт с заказчиками
экспертизы, и провел аналогию с системой организации экспертизы в Германии. Он обсуждал
также возможность функционирования корпуса как клуба активных ученых, выражающего свое
отношение к различным событиям в сфере реформы науки и научных организаций.

06- АНДРЕЙ КАЗАНСКИЙ



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_06__kazansky.mp3
5,613,752   15:35 
0:16 Казанский
  после выступления:
    13:22 Чугреев? /плохо слышно/, + 14:13 Штерн, 14:35 Гельфанд, 14:54 Арнольд
15:13 Арнольд, вступление к дальнейшей части дискуссии

В.З.Мордкович (ЮРД Центр) объяснил, что в России с давних времен корпус экспертов есть
(исходно -- Императорская академия наук) и привел примеры печальных последствий частных
инвестиций по результатам академической экспертизы. Он признал, что принцип первичного
отбора по индексу цитирования является единственно возможным; в то же время, призвал
специально думать о низкоцитируемых прикладных направлениях и выразил надежду на то, что
кого-то из специалистов назовут коллеги «соседних» направлений и областей знания.

07- ВЛАДИМИР МОРДКОВИЧ



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_07__mordkovich.mp3
4,657,952  12:56 
0:00 Арнольд
0:10 Мордкович
  во время выступления:
    8:28 ?
  после выступления:
    10:04 Костинский
    12:19, 12:40 Салтыков

Б.Г.Салтыков (Российский дом международного научно-технического сотрудничества)
продолжил тему работы национальных фондов разных стран, одобрил участие зарубежных
ученых в экспертизе российских проектов, обратил внимание на востребованность корпуса
экспертов для присуждения различных научных премий.

08- БОРИС САЛТЫКОВ



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_08__saltykov.mp3
2,497,952  6:56 
0:00 Арнольд
14:00 Салтыков
  после выступления:
    3:41, 4:55, 5:56, 6:12 Гельфанд, + 6:31 ?

А.Ю.Костинский (ГК "Роснанотех") заверил, что место независимой экспертизе есть, как
минимум для «контроля на входе» с целью отсечения заведомо лженаучных.

09- АЛЕКСАНДР КОСТИНСКИЙ
   


http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_09__kostinsky.mp3
1,692,056  4:42 
0:00 Костинский

Е.В.Антипов (Химфак МГУ) утверждал, что проект может реально помочь фондам, в том числе
РФФИ, в котором экспертами сейчас могут быть любые доктора наук, но по рекомендации
организаций. Он подчеркнул важность задачи показать саму возможность суждения ученых об
ученых и предположил, что проект обречен не только на скандал, но и на успех.

10- ЕВГЕНИЙ АНТИПОВ

http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_10__antipov.mp3
1,204,328  1:45 
0:01 Антипов

М.С.Аксентьева (УФН) упоминала опыт организации рецензирования в УФН и журналах
Американского физического общества. Она предложила также «отфильтровать» список, показав
его первичным выборщикам после составления <..>

11- МАРИЯ АКСЕНТЬЕВА

http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_11__aksentieva.mp3
1,204,328  3:20 
0:00 Аксентьева

Г.А.Базыкин (ИППИ) указал, что не надо спешить список экспертов обнародовать, а то трудно
будет «разобнародовать» обратно.

12- ЕГОР БАЗЫКИН



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_12__bazykin.mp3
579,656   1:36
0:01 Базыкин
  после выступления:
    1:10 ?, + 1:26 Арнольд

Н.А.Формозов возразил [М.С.Аксентьевой], вспомнив выборы директоров коллективами заводов. Он
добавил, что как зоолог видит в этом проекте много интересного...

13- НИКОЛАЙ ФОРМОЗОВ



http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_13__formozov.mp3
1,760,096  4:53
0:00 Формозов
  после выступления:
    3:29 Штерн
    4:23 Цирлина, + 4:46 Арнольд?, + 4:49 Штерн?

Н.Н.Андреев (МИАН) указал, что доверие к организации экспертизы полезнее фамилий
конкретных экспертов - "как в ресторане интересно качество блюд, а не фамилиия повара".

14- НИКОЛАЙ АНДРЕЕВ

http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_14__andreev.mp3
1,227,872  3:24
0:00 Андреев
  после выступления:
    1:25 Арнольд?
    1:29 Гельфанд, + 2:19 Салтыков?, 2:35 Штерн?, 2:53 Гельфанд?, 3:13 Костинский??, 3:17 Арнольд


15- ЗАКРЫТИЕ СЕМИНАРА

http://scientific.ru/society/site/audio/rseminar_2007dec26_korpus_expertov_15__arnold.mp3
1,046,216  2:54 
0:00 Арнольд


Аксентьева - Мария Сергеевна Аксентьева, отв. редактор журнала "Успехи физических наук"
Андреев - Николай Николаевич Андреев, Математический институт им. В. А. Стеклова РАН,  мехмат МГУ
Антипов - Евгений Викторович Антипов, д.х.н., профессор, зав. лаб. химфака МГУ
* Арнольд - зам. директора МЦНМО Виталий Дмитриевич Арнольд
Базыкин - Егор Базыкин, PhD по экологии и эволюции (Принстонский университет, США), ИППИ РАН
Гельфанд - Михаил Сергеевич Гельфанд, д.б.н., к.ф.-м.н., зам. дир. ИППИ РАН, профессор факультета биоинженерии и биоинформатики МГУ
Гантмахер - Всеволод Феликсович Гантмахер, чл-корр РАН, гл. редактор журнала "Письма в ЖЭТФ"
Костинский - Александр Юльевич Костинский, ГК "Роснанотех"
Мордкович - Владимир Залманович Мордкович, д.х.н., зам. директора по науке Объединенного центра исследований и разработок "ЮРД Центр"
Салтыков - Борис Георгиевич Салтыков, президент Ассоциации "Российский дом международного научно-технического сотрудничества", в 1991-96 гг. был министром науки и технической политики РФ
Северинов - Константин Викторович Северинов, д.б.н., профессор Университета Ратгерса (США), зав. лаб. в Институте молекулярной генетики РАН и в Институте биологии гена РАН
Соболев - Александр Владимирович Соболев, чл-корр РАН, профессор, д.г.-м.н., зав. сектором Института геохимии и аналитической химии им. В.И.Вернадского РАН
Рязанов - Валерий Владимирович Рязанов, зав. лаб. Ин-та физики тв. тела РАН
* Фейгельман - Михаил Викторович Фейгельман, д.ф.-м.н., заместитель директора ИТФ им. Л.Д.Ландау РАН
Формозов - Николай Александрович Формозов, к.б.н., в.н.с. биофака МГУ
* Цирлина - Галина Александровна Цирлина, д.х.н., в.н.с. химфака МГУ
Чугреев - Андрей Львович Чугреев, в.н.с. НИФХИ им. Карпова, химфак МГУ
Шишкин - Сергей Львович Шишкин, к.б.н., н.с. биофака МГУ
* Штерн - Борис Евгеньевич Штерн, д.ф.-м.н., Институт ядерных исследований РАН (Троицк), Астрокосмический центр Физического института РАН, организатор сайта Scientific.ru, руководитель проекта «Кто есть кто в российской науке»
Юхин - Артем Леонидович Юхин, вице-президент по управлению венчурными фондами компании «Тройка-Диалог»

* - члены рабочей группы проекта по созданию корпуса экспертов



(Расшифровка авторов вопросов и реплик - сугубо предварительная! Исправления, уточнения и дополнения приветствуются.)

[iefimov]

Я наконец набрался терпения и прослушал всю эту сумбурную дискуссию: : http://scientific.ru/society/forum.php?topic=1263.0
Попробую сформулировать мою точку зрения на основе того что услышал и моего  опыта работы в США в качестве эксперта NIH, NSF, многих частных и государственных научных фондоов многих стран мира, венчурных инвесторов и высокотехнологических биомедицинских компаний.

Сначал о положительном:

   1. В целом проект разумный и любопытный. Такие эксперименты важны уже хотя бы потому, что в России таких экспериментов было очень немного за всю её многовековую историю. России придётся строить свои экспертные методики и экспертные сообщества. Никуда от этого не деться. Частные инвесторы России нуждаются в экспертной оценке того моря бизнес-планов, которые будут увеличиваться в геометрической прогрессии. В США, даже при наличие приличного процесса экспертной оценки (due diligence), успех 1 из 20 инвестиций считается приемлимым и обеспечивает жизнеспособность венчурного сектораю, Какова же в этом случае вероятность успеха российский венчурных инвестиций в море проектов по "наноштанам", "нанопорошкам" или "водородной экономике"? Поэтому экспериментировать нужно и должно. Для этого уже создаётся российский рынок экспертной оценки. Даже если наработки данного проекта не приведут к непосредственному использованию созданного корпуса экспертов инвесторами, они помогут венчурным фондам создать свои сети экспертов с использованием этого опыта.
   2. Россия, как и США, в отличие от Европы имеет традицию серьёзной благотворительности. Уже созданы частные фонды, поддерживающие науку и образование. Пока размер этих фондов не ставит задачи создания серьёзной и продуманной концепции экспертной оценки заявок. Но это дело времени. Уже наметилась тенденция на рост числа и объема финансовых ресурсов в этом секторе. Поэтому также как и в венчурном инвестирование, благотворительный сектор затребует услуги экспертной оценки в ближайшем будущем. И так же как в венчурном секторе, скорее всего будут создаваться свои экспертные корпуса, возможно, с использованием опыта данного проекта.
   3. Государственные фонды России, поддерживающие науку, также будут продолжать эксперимент по улучшению экспертной оценки. Российская традиция унификации всего и везде к сожалению душит инициативу по гибкой оптимизации этого процесса. Поэтому этот эксперимент может дать возможность создать прецедент по улучшению работы действующих механизмов оценки.

Теперь об отрицательном:

   1. Непонятно для чего  создаётся это сообщество. Какого рода экспертизу будет предлогать этот корпус своим потенциальных клиентам. Классификация экспертов совершено необходима. Она может обновляться каждые 3 месяца  - но без неё не найти заказчика. Отбор для государственых или частных благотворительных научных фондов должен проводиться по совершенно другим критериям по сравнению с отбором для частных инвесторов и индустрии.
   2. Проект не является чем-то новым. В США таких проектов множество. Я был вовлечён в создание подобного же корпуса экспертов, создававшегося Американским Физиологическим Обществом с целью предоставления экспертных услуг индустрии и федеральному правительству. На интернете постоянно возникают подобные экспертные вэб-сообщества, которые так же на комерческой основе предлагают свои услуги венчурным инвесторам и индустрии. Результат, как мне представляется далёк от целей. Все эти услуги так и не нашли покупателя. И инвесторы, и индустрия, и частные фонды, и федеральные агенства предпочитают строить свою собственную сеть экспертов по своим собственным критериям.
   3. Существующее многообразие подходов к экспертной оценке а рамках частных и государственных научных фондов, венчурных инвестиционных фондов, и индустриальной экспертизы не строилось по одной кальке. Оптимизация этого процесса обеспечивается постояным экспериментом, конкуренцией и многообразием. Я делал экспертные оценки для всех видов финансирования - венчурных и индустриальных инвестиций, частных и государственных фондов США и многих других стран. Механизмы работы этих фондов чрезвычайно разнообразны. И в каждом случае речь идёт об очень конкретной экспертизе. Если в Сингапуре или Швейцарии нет эксперта по данной конкретной дисциплине, его найдут в США или Англии. Данный экспериментальный проект по созданию российского корпуса экспертов, как мне кажется слишком заострён на поддержке местного научного сообщества, а не качестве предлагаемой экспертизы. Он слишком однообразен и неконкретен.
   4. Экспертные сообщества являются частной и высоко оплачиваемой формой интеллектуального продукта. В частном бизнесе научные эксперты получают от 100 до 500 долларов в час за свою работу над экспертной оценкой проектов, которая может включать в себя как письменные рецензии, так и конфеденциальные личные или телефонные конференции. Дешёвая экспертиза будет низкого качества.

Увы я не смогу сюда часто заглядывать для дискуссии - поэтому прошу не судить строго если я не отвечу на возможные коментарии. Для ускорения прошу копировать вопросы сюда: http://iefimov.livejournal.com/93425.html

[Сергей Шишкин]

Возможно, нужно в аннотации проекта более ясно подчеркнуть, что этот отбор экспертов - лишь первичный фильтр. Организации, непосредственно занимающиеся экспертизой, сами решают, к кому именно обратиться из прошедших этот фильтр экспертов.

Естественно, в США нет большой потребности в подобных фильтрах. В чем особенность текущей ситуации в России - см. в лекции Даниила Александрова Ученые без науки.

Хорошей альтернативы этому фильтру пока никто не предложил. Предложения по его усовершенствованию организаторы приветствуют, об этом прямо сказано на сайте проекта.

[Сергей Шишкин]

Ответ И.Е. в http://iefimov.livejournal.com/93425.html :

"Не думаю, что это привлечёт клиентов.
   
   
Гораздо более привлекательным "фильтром" является факт получения данным учёным грантов от серьёзных западных фондов, так как это гарантия прохождения через фильтр экспертной оценки в этих фондах. Другой такой "фильтр" - это членство в редколегии журналов с высоким импакт-фактором, и участие в экспертной оценке грантов и проектов в уважаемых фондах и инвестиционных организациях. Юхин как раз об этом и говорил - они экспертов выбирают именно по этим критериям. А не в результате выборов.

Рейтинги уровня учёного или эксперта в США нужны так же как и везде. Более того, в США такие рейтинги идут постояно по многим направлениям всю жизнь каждого учёного. "

[Galina Tsirlina]

Теперь об отрицательном:

   1. Непонятно для чего  создаётся это сообщество. Какого рода экспертизу будет предлогать этот корпус своим потенциальных клиентам. Классификация экспертов совершено необходима. Она может обновляться каждые 3 месяца  - но без неё не найти заказчика. Отбор для государственых или частных благотворительных научных фондов должен проводиться по совершенно другим критериям по сравнению с отбором для частных инвесторов и индустрии.
   2. Проект не является чем-то новым. В США таких проектов множество. Я был вовлечён в создание подобного же корпуса экспертов, создававшегося Американским Физиологическим Обществом с целью предоставления экспертных услуг индустрии и федеральному правительству. На интернете постоянно возникают подобные экспертные вэб-сообщества, которые так же на комерческой основе предлагают свои услуги венчурным инвесторам и индустрии. Результат, как мне представляется далёк от целей. Все эти услуги так и не нашли покупателя. И инвесторы, и индустрия, и частные фонды, и федеральные агенства предпочитают строить свою собственную сеть экспертов по своим собственным критериям.
   3. Существующее многообразие подходов к экспертной оценке а рамках частных и государственных научных фондов, венчурных инвестиционных фондов, и индустриальной экспертизы не строилось по одной кальке. Оптимизация этого процесса обеспечивается постояным экспериментом, конкуренцией и многообразием. Я делал экспертные оценки для всех видов финансирования - венчурных и индустриальных инвестиций, частных и государственных фондов США и многих других стран. Механизмы работы этих фондов чрезвычайно разнообразны. И в каждом случае речь идёт об очень конкретной экспертизе. Если в Сингапуре или Швейцарии нет эксперта по данной конкретной дисциплине, его найдут в США или Англии. Данный экспериментальный проект по созданию российского корпуса экспертов, как мне кажется слишком заострён на поддержке местного научного сообщества, а не качестве предлагаемой экспертизы. Он слишком однообразен и неконкретен.
   4. Экспертные сообщества являются частной и высоко оплачиваемой формой интеллектуального продукта. В частном бизнесе научные эксперты получают от 100 до 500 долларов в час за свою работу над экспертной оценкой проектов, которая может включать в себя как письменные рецензии, так и конфеденциальные личные или телефонные конференции. Дешёвая экспертиза будет низкого качества.

Увы я не смогу сюда часто заглядывать для дискуссии - поэтому прошу не судить строго если я не отвечу на возможные коментарии. Для ускорения прошу копировать вопросы сюда: http://iefimov.livejournal.com/93425.html

Надеюсь, что корпус не будет предлагать - ему будут предлагать.... А он будет соглашаться или не соглашаться. В зависимости от способности «заказчика» выстроить корректный регламент экспертизы. В России совсем другая ситуация со спросом и предложением на этом поле, т.е. нет предложения кроме рановского. А спрос очень разнообразный. И никто не рассчитывает на государственный спрос - он слишком ненадежен.

Классификация экспертов совершено необходима, разумеется. Ее разнообразные возможности предусмотрены при сборе информации о каждом человеке. Организаторы экспертизы того или иного сорта будут иметь возможность выстроить свою классификацию или легко «добрать» недостающую для этого специфическую информацию.

"...на комерческой основе предлагают свои услуги венчурным инвесторам и индустрии" - ?

Если предлагают - значит не так же. А на новизну в методике никто, вообще говоря, не претендует, хотя близкого аналога пока так и не нашли. Но не патентованием же мы озабочены...

"...предпочитают строить свою собственную сеть экспертов по своим собственным критериям." - ?

Вот сижу и читаю я сейчас одну такую бумагу... то ли от инвесторов, то ли от индустрии, пока не пойму - но солидная бумага, и в ней описано довольно подробно: как ребята дошли до ручки, выбирая экспертов по собственным (т.е. кем-то подсказанным) критериям. Вы далеко, Вам таких бумаг не присылают, а мы тут, в этой самой Russia.  Не судите строго, действуем по обстановке...

" слишком заострён на поддержке местного научного сообщества, а не качестве предлагаемой экспертизы" -?

Очень точное замечание в части «как мне кажется». Игорь, в рамках проекта на сегодняшний день по cond-mat предложено около 1000 русскоязычных и более 500 не-русскоязычных экспертов. Эта информация была доведена до сведения общественности на сайте проекта. Мне кажется, что Вы просто чего-то не дочитали. Не всякий зарубежный эксперт согласится рецензировать российские проекты, люди называют тех, кто относится к нам с уважением и пониманием, кто готов заниматься тем самым, о чем Вы сказали.

"Дешёвая экспертиза будет низкого качества" - ?

Не поняла - кто-то где-то уже вывесил расценки? Не видела...  Это не наш вопрос - сколько надо платить экспертам... Это вопрос заказчика и его договоренности с выбранными им по тем или иным принципам экспертами.

Кроме Вашего общего комментария, в связи с дискуссией в ЖЖ. Это ужасно смешно - предполагать, что кто-то хочет «стать генералом»... Что научную работу делают чтобы стать доктором.... Вы даже не можете себе представить насколько мне лично это смешно. Почти так же (но все-таки не так сильно), как Ваш предыдущий комментарий о том, что cond-mat - устаревшая мертвая наука. Вот по этому поводу я хохотала просто до слез.

В таких случаях никому ничего не надо доказывать - надо просто спокойно продолжать делать свое дело. Потому что сколь угодно модные биологи не могут отменить приоритет физики, вообще никакой, и уж тем более физики конденсированных сред, самой фундаментальной основы самых современных технологий.  Что я действительно могу допустить - что алгоритм формирования корпуса не подойдет для модных биологов. Так и не надо! Развитие науки определят не они, потому что они в отрыве от понимания элементарных процессов еще на столько порядков, что просто не о чем разговаривать. Они (Вы) очень полезны и актуальны, клиническая медицина и т.д.... Ну так и давайте разделимся спокойно на прикладные области, типа клинической медицины, и на науку как таковую, доходящую до количественного прогнозирования конкретных систем и не претендующую пока на суперсложные системы. Но, тем не менее, определяющую технологии конкретных востребованных устройств. Думаю, что основное противоречие лежит в этой плоскости, просто психология принципиально разная. Вам, с Вашим наступательным имиджем, наша психология совершенно не мешает. Мы же не лезем в человеческое сердце (с).

[Михаил Гельфанд]

для ГЦ, про "краткий протокол"

"Оба отметили, что в их науках есть направления, которых в России нет и не будет. Звучали жалобы на слишком быструю динамику в «модной» биологии (никак не создать стабильного классификатора) и низкое цитирование в «традиционной» (нужен низкий порог для первичных выборщиков), на клановость ряда биологических направлений. "

"звучали жалобы" - это все-таки немного странный оборот - кому жалобы-то? Может как-то нейтральнее - Гельфанд отметил...

"клановость" - тоже не совсем точно, тут не проблема злой воли (что подразумевается термином), а просто того, что групп одна или две. И опять же, в любом случае, это не "жалобы".

[iefimov]

Теперь об отрицательном:

   1. Непонятно для чего  создаётся это сообщество. Какого рода экспертизу будет предлогать этот корпус своим потенциальных клиентам. Классификация экспертов совершено необходима. Она может обновляться каждые 3 месяца  - но без неё не найти заказчика. Отбор для государственых или частных благотворительных научных фондов должен проводиться по совершенно другим критериям по сравнению с отбором для частных инвесторов и индустрии.
   2. Проект не является чем-то новым. В США таких проектов множество. Я был вовлечён в создание подобного же корпуса экспертов, создававшегося Американским Физиологическим Обществом с целью предоставления экспертных услуг индустрии и федеральному правительству. На интернете постоянно возникают подобные экспертные вэб-сообщества, которые так же на комерческой основе предлагают свои услуги венчурным инвесторам и индустрии. Результат, как мне представляется далёк от целей. Все эти услуги так и не нашли покупателя. И инвесторы, и индустрия, и частные фонды, и федеральные агенства предпочитают строить свою собственную сеть экспертов по своим собственным критериям.
   3. Существующее многообразие подходов к экспертной оценке а рамках частных и государственных научных фондов, венчурных инвестиционных фондов, и индустриальной экспертизы не строилось по одной кальке. Оптимизация этого процесса обеспечивается постояным экспериментом, конкуренцией и многообразием. Я делал экспертные оценки для всех видов финансирования - венчурных и индустриальных инвестиций, частных и государственных фондов США и многих других стран. Механизмы работы этих фондов чрезвычайно разнообразны. И в каждом случае речь идёт об очень конкретной экспертизе. Если в Сингапуре или Швейцарии нет эксперта по данной конкретной дисциплине, его найдут в США или Англии. Данный экспериментальный проект по созданию российского корпуса экспертов, как мне кажется слишком заострён на поддержке местного научного сообщества, а не качестве предлагаемой экспертизы. Он слишком однообразен и неконкретен.
   4. Экспертные сообщества являются частной и высоко оплачиваемой формой интеллектуального продукта. В частном бизнесе научные эксперты получают от 100 до 500 долларов в час за свою работу над экспертной оценкой проектов, которая может включать в себя как письменные рецензии, так и конфеденциальные личные или телефонные конференции. Дешёвая экспертиза будет низкого качества.

Увы я не смогу сюда часто заглядывать для дискуссии - поэтому прошу не судить строго если я не отвечу на возможные коментарии. Для ускорения прошу копировать вопросы сюда: http://iefimov.livejournal.com/93425.html

Надеюсь, что корпус не будет предлагать - ему будут предлагать.... А он будет соглашаться или не соглашаться. В зависимости от способности «заказчика» выстроить корректный регламент экспертизы. В России совсем другая ситуация со спросом и предложением на этом поле, т.е. нет предложения кроме рановского. А спрос очень разнообразный. И никто не рассчитывает на государственный спрос - он слишком ненадежен.

Классификация экспертов совершено необходима, разумеется. Ее разнообразные возможности предусмотрены при сборе информации о каждом человеке. Организаторы экспертизы того или иного сорта будут иметь возможность выстроить свою классификацию или легко «добрать» недостающую для этого специфическую информацию.

"...на комерческой основе предлагают свои услуги венчурным инвесторам и индустрии" - ?

Если предлагают - значит не так же. А на новизну в методике никто, вообще говоря, не претендует, хотя близкого аналога пока так и не нашли. Но не патентованием же мы озабочены...

"...предпочитают строить свою собственную сеть экспертов по своим собственным критериям." - ?

Вот сижу и читаю я сейчас одну такую бумагу... то ли от инвесторов, то ли от индустрии, пока не пойму - но солидная бумага, и в ней описано довольно подробно: как ребята дошли до ручки, выбирая экспертов по собственным (т.е. кем-то подсказанным) критериям. Вы далеко, Вам таких бумаг не присылают, а мы тут, в этой самой Russia.  Не судите строго, действуем по обстановке...

" слишком заострён на поддержке местного научного сообщества, а не качестве предлагаемой экспертизы" -?

Очень точное замечание в части «как мне кажется». Игорь, в рамках проекта на сегодняшний день по cond-mat предложено около 1000 русскоязычных и более 500 не-русскоязычных экспертов. Эта информация была доведена до сведения общественности на сайте проекта. Мне кажется, что Вы просто чего-то не дочитали. Не всякий зарубежный эксперт согласится рецензировать российские проекты, люди называют тех, кто относится к нам с уважением и пониманием, кто готов заниматься тем самым, о чем Вы сказали.

"Дешёвая экспертиза будет низкого качества" - ?

Не поняла - кто-то где-то уже вывесил расценки? Не видела...  Это не наш вопрос - сколько надо платить экспертам... Это вопрос заказчика и его договоренности с выбранными им по тем или иным принципам экспертами.

Кроме Вашего общего комментария, в связи с дискуссией в ЖЖ. Это ужасно смешно - предполагать, что кто-то хочет «стать генералом»... Что научную работу делают чтобы стать доктором.... Вы даже не можете себе представить насколько мне лично это смешно. Почти так же (но все-таки не так сильно), как Ваш предыдущий комментарий о том, что cond-mat - устаревшая мертвая наука. Вот по этому поводу я хохотала просто до слез.

В таких случаях никому ничего не надо доказывать - надо просто спокойно продолжать делать свое дело. Потому что сколь угодно модные биологи не могут отменить приоритет физики, вообще никакой, и уж тем более физики конденсированных сред, самой фундаментальной основы самых современных технологий.  Что я действительно могу допустить - что алгоритм формирования корпуса не подойдет для модных биологов. Так и не надо! Развитие науки определят не они, потому что они в отрыве от понимания элементарных процессов еще на столько порядков, что просто не о чем разговаривать. Они (Вы) очень полезны и актуальны, клиническая медицина и т.д.... Ну так и давайте разделимся спокойно на прикладные области, типа клинической медицины, и на науку как таковую, доходящую до количественного прогнозирования конкретных систем и не претендующую пока на суперсложные системы. Но, тем не менее, определяющую технологии конкретных востребованных устройств. Думаю, что основное противоречие лежит в этой плоскости, просто психология принципиально разная. Вам, с Вашим наступательным имиджем, наша психология совершенно не мешает. Мы же не лезем в человеческое сердце (с).

Я не понял - Вы меня отнесли к "модным биологам" или к "кардиологам"? Я, увы, ни к тем, ни к другим не принадлежу. И полностью согласен, что физику никто не отменял. И не отменит. Никогда не писал что "cond-mat - устаревшая мертвая наука". Я даже не совсем понял ко мне ли относится, всё что Вы написали. Думал даже выразить своё "фи" Гельфанду за его забавное деление на "новые" и "старые" науки, интересные, по меткому выражению одного участника, только с зоологической точки зрения. Не cond-mat является устаревшей наукой, а те его разделы в которых работают многие "эксперты", выбранные голосованием. Так же как в любой другой науке, в которой вы будете на выборах решать "экспертность". РАН - это тоже результат выборов "экспертов" другими "экспертами". Довольно красноречивый. Не вижу отличия с вашим методом.

По сути - и экспертное сообщество, и сообщество инвесторов - должны вырасти на собственном опыте. Это займёт время. Возможно жизнь одного-двух поколений. Может больше. Поэтому судить и рядить конкретный проект не стоит. Он всё равно обречён на то, что станет компостом для будущего, наноштанами и нановаленками. И чтобы помочь росту этих сообществ, нужно создавать институты экспертизы вокруг новых журналов, фондов, венчурных центров. А не наоборот - как пытаетесь вы в этом проекте.

[Михаил Гельфанд]

[

Думал даже выразить своё "фи" Гельфанду за его забавное деление на "новые" и "старые" науки, интересные, по меткому выражению одного участника, только с зоологической точки зрения.

[/quote]

Фи не принимается: Гельфанд оговорился, что это безоценочно. А по стилю работы - таки-да, мол.био. и зоология-ботаника устроены несколько по-разному. И по потоку публикаций. И, стало быть, цитат.
И даже, думаю, мол. био. и физиологий (в той мере, в которой последняя в мол. био. не скатывается, что наблюдается сплошь и рядом).

[Galina Tsirlina]

Я не понял - Вы меня отнесли к "модным биологам" или к "кардиологам"? Я, увы, ни к тем, ни к другим не принадлежу. И полностью согласен, что физику никто не отменял. И не отменит. Никогда не писал что "cond-mat - устаревшая мертвая наука". Я даже не совсем понял ко мне ли относится, всё что Вы написали. Думал даже выразить своё "фи" Гельфанду за его забавное деление на "новые" и "старые" науки, интересные, по меткому выражению одного участника, только с зоологической точки зрения. Не cond-mat является устаревшей наукой, а те его разделы в которых работают многие "эксперты", выбранные голосованием. Так же как в любой другой науке, в которой вы будете на выборах решать "экспертность". РАН - это тоже результат выборов "экспертов" другими "экспертами". Довольно красноречивый. Не вижу отличия с вашим методом.

По сути - и экспертное сообщество, и сообщество инвесторов - должны вырасти на собственном опыте. Это займёт время. Возможно жизнь одного-двух поколений. Может больше. Поэтому судить и рядить конкретный проект не стоит. Он всё равно обречён на то, что станет компостом для будущего, наноштанами и нановаленками. И чтобы помочь росту этих сообществ, нужно создавать институты экспертизы вокруг новых журналов, фондов, венчурных центров. А не наоборот - как пытаетесь вы в этом проекте.

Игорь, я не ставила задачу Вас куда-то относить, мне просто действительно было смешно. И от написанного Вами 10-11 января, еще до прослушивания семинара, и от написанного позднее. Это совершенно другая психология научной работы, жизни.... Я же не говорю, что она хуже, просто она другая, и это видно по каждой реплике.
И разделяя условно на модных и немодных, я тоже не говорю, что кто-то лучше или хуже, просто мне психологически немодные ближе (понятнее). И вообще не обсуждаю я биологов! - а в выборе своих задач, как известно, придерживаюсь принципа "умри все живое" (с). Кроме того, я признаю объективную реальность: у модных биологов сложился некий стандарт взаимной оценки, у которого есть свои достоинства, может это и лучше, чем просто не иметь никакого стандарта, и уж точно лучше, чем иметь совковый. Т.е. я им искренне желаю всяческих успехов.

Рада, что Вы не похоронили весь cond-mat (хотя именно так можно было понять Вашу фразу от 10.01. И Сережа, кажется, тогда Вам отвечал, восприняв именно так. И тут же влез еще какой-то дискуссант, который уже вообще всю физику прямым текстом отменил.... Ну ладно, это вообще не предмет для обсуждения.

Вы глубоко неправы в том, что в выборке экспертов преобладают устаревшие направления (да их вообще в cond-mat немного, это же живая наука, очень близкая к приложениям, и к тому же, думаю, самая сильная в России). Максимум на распределении по кодам как раз 71-75,78, это все очень даже актуально. А наноштаны нам угрожают не от физиков, а от химиков....

То, что происходит при опросе - это и есть некая стадия роста на собственном опыте. Все работающие в России люди 16 лет накапливали этот опыт и определенным образом подрастали в мелких сообществах или самостоятельно. И контакты с инвесторами не сегодня начались, определенная интеграция в технологическое сообщество очень хорошо видна, и шанс продолжения этой интеграции вокруг, например, венчурных центров вовсе не нулевой. Так что Ваши концептуальные положения более-менее соответствуют, просто кое-какой компост уже давно внесли на эту грядку, а Вы не заметили. Ничего страшного.

[Сергей Шишкин]

Подробный репортаж с семинара на Полит.ру:

http://polit.ru/science/2008/01/18/snowball.html
Снежный ком покатился без спросу
18 января 2008, 00:14
Наталия Демина

[iefimov]

[

Думал даже выразить своё "фи" Гельфанду за его забавное деление на "новые" и "старые" науки, интересные, по меткому выражению одного участника, только с зоологической точки зрения.

Фи не принимается: Гельфанд оговорился, что это безоценочно. А по стилю работы - таки-да, мол.био. и зоология-ботаника устроены несколько по-разному. И по потоку публикаций. И, стало быть, цитат.
И даже, думаю, мол. био. и физиологий (в той мере, в которой последняя в мол. био. не скатывается, что наблюдается сплошь и рядом).
[/quote]

Михаил, а Вы не читали статью Woese CR. A new biology for a new century. Microbiol Mol Biol Rev. 2004 Jun;68(2):173-86. Review.
Я Вам очень-очень-очень рекоменжую. Почитайте этого мудрого микробиолога. Это первое что я даю читать моим студентам по поводу "модных" и "немодных", "новых" и "старых" наук. Не хочу показаться занудой, но напрашивается занудная истина: "всё новое, это хорошо забытое старое".

[iefimov]

Я не понял - Вы меня отнесли к "модным биологам" или к "кардиологам"? Я, увы, ни к тем, ни к другим не принадлежу. И полностью согласен, что физику никто не отменял. И не отменит. Никогда не писал что "cond-mat - устаревшая мертвая наука". Я даже не совсем понял ко мне ли относится, всё что Вы написали. Думал даже выразить своё "фи" Гельфанду за его забавное деление на "новые" и "старые" науки, интересные, по меткому выражению одного участника, только с зоологической точки зрения. Не cond-mat является устаревшей наукой, а те его разделы в которых работают многие "эксперты", выбранные голосованием. Так же как в любой другой науке, в которой вы будете на выборах решать "экспертность". РАН - это тоже результат выборов "экспертов" другими "экспертами". Довольно красноречивый. Не вижу отличия с вашим методом.

По сути - и экспертное сообщество, и сообщество инвесторов - должны вырасти на собственном опыте. Это займёт время. Возможно жизнь одного-двух поколений. Может больше. Поэтому судить и рядить конкретный проект не стоит. Он всё равно обречён на то, что станет компостом для будущего, наноштанами и нановаленками. И чтобы помочь росту этих сообществ, нужно создавать институты экспертизы вокруг новых журналов, фондов, венчурных центров. А не наоборот - как пытаетесь вы в этом проекте.

Игорь, я не ставила задачу Вас куда-то относить, мне просто действительно было смешно. И от написанного Вами 10-11 января, еще до прослушивания семинара, и от написанного позднее. Это совершенно другая психология научной работы, жизни.... Я же не говорю, что она хуже, просто она другая, и это видно по каждой реплике.
И разделяя условно на модных и немодных, я тоже не говорю, что кто-то лучше или хуже, просто мне психологически немодные ближе (понятнее). И вообще не обсуждаю я биологов! - а в выборе своих задач, как известно, придерживаюсь принципа "умри все живое" (с). Кроме того, я признаю объективную реальность: у модных биологов сложился некий стандарт взаимной оценки, у которого есть свои достоинства, может это и лучше, чем просто не иметь никакого стандарта, и уж точно лучше, чем иметь совковый. Т.е. я им искренне желаю всяческих успехов.

Рада, что Вы не похоронили весь cond-mat (хотя именно так можно было понять Вашу фразу от 10.01. И Сережа, кажется, тогда Вам отвечал, восприняв именно так. И тут же влез еще какой-то дискуссант, который уже вообще всю физику прямым текстом отменил.... Ну ладно, это вообще не предмет для обсуждения.

Вы глубоко неправы в том, что в выборке экспертов преобладают устаревшие направления (да их вообще в cond-mat немного, это же живая наука, очень близкая к приложениям, и к тому же, думаю, самая сильная в России). Максимум на распределении по кодам как раз 71-75,78, это все очень даже актуально. А наноштаны нам угрожают не от физиков, а от химиков....

То, что происходит при опросе - это и есть некая стадия роста на собственном опыте. Все работающие в России люди 16 лет накапливали этот опыт и определенным образом подрастали в мелких сообществах или самостоятельно. И контакты с инвесторами не сегодня начались, определенная интеграция в технологическое сообщество очень хорошо видна, и шанс продолжения этой интеграции вокруг, например, венчурных центров вовсе не нулевой. Так что Ваши концептуальные положения более-менее соответствуют, просто кое-какой компост уже давно внесли на эту грядку, а Вы не заметили. Ничего страшного.

Я думаю у нас с Вами больше общего чем различного. Я тоже уже вырос из возраста в котором, в котором ищут самые модные наноштаны. Разделение на модные и немодные темы, на новые и старые науки - это всё от лукавого. Я тоже делаю самую немодную физиологию и биофизику, хотя вокруг все с ума посходили по нановаленкам. Я там дал ссылку в ответе Михаилу на предмет "новизны" его мол. биологии. Почитайте, хотя это и не физика - но очень поучительно:
Woese CR. A new biology for a new century. Microbiol Mol Biol Rev. 2004 Jun;68(2):173-86. Review. 

Там на вашей встрече кто-то шутил по поводу "институциализации" вашего проекта. Это в общем-то то, что и я имел в виду. Ваш проект - первый шаг в сторону этой самой институциализации корпуса экспертов. Мне кажется, что он не будет работать в этой своей инкарнации. Но это необходимый первый шаг. И поэтому я желаю Вам удачи.

То что я пытался говорить и писать прежде остаётся в силе. Новые области экспертного сообщества возникают в новых научных журналах, в их редколегиях, в их корпусе рецензентов... Именно там происходит первая институциализация научной дисциплины и её человеческого воплощения - корпуса экспертов на суд которых учёные шлют свои идеи и мысли в виде статей. Остальное - лишь производая от этого первичного корпуса экспертов. Если в России не возникнет живой научный журнал на хорошем уровне в той или иной дисциплине - там не будет и зрелого научного сообщества в этой области. Голосованием этого не создать. Оно должно быть зачатым, выношенным и воспитанным - как ребёнок.

[Galina Tsirlina]

Там на вашей встрече кто-то шутил по поводу "институциализации" вашего проекта. Это в общем-то то, что и я имел в виду. Ваш проект - первый шаг в сторону этой самой институциализации корпуса экспертов. Мне кажется, что он не будет работать в этой своей инкарнации. Но это необходимый первый шаг. И поэтому я желаю Вам удачи.

То что я пытался говорить и писать прежде остаётся в силе. Новые области экспертного сообщества возникают в новых научных журналах, в их редколегиях, в их корпусе рецензентов... Именно там происходит первая институциализация научной дисциплины и её человеческого воплощения - корпуса экспертов на суд которых учёные шлют свои идеи и мысли в виде статей. Остальное - лишь производая от этого первичного корпуса экспертов. Если в России не возникнет живой научный журнал на хорошем уровне в той или иной дисциплине - там не будет и зрелого научного сообщества в этой области. Голосованием этого не создать. Оно должно быть зачатым, выношенным и воспитанным - как ребёнок.

Cпасибо на добром слове. Поглядим что будет через год.

[Сергей Шишкин]

Из более ранних дискуссий:

http://www.scientific.ru/dforum/scilife/1179263501

когда Борис Штерн предложил схему отбора экспертов, которая тут неоднократно проговаривалась (первый отбор экспертов проходит по формальным критериям - цитируемости, а затем отобранных экспертов просят назвать серьезных ученых уже по неформальным признакам), то выяснилось, что ни у кого практически из гуманитариев кардинальных возражений нет, и что цитирования можно использовать для отбора хоть в науке о сложении стихов (на семинаре были и социологи, и историки науки, и специалисты по литературе, и лингвисты, и экономисты)