Почему бы МОН не применить критерии эффективности к ведущим научным школам РФ?

[Сергей Шишкин]

См. ветку на Бытии:

http://www.scientific.ru/dforum/scilife/1170702963

Предлагаю провести оценку Ведущих Научных Школ РФ работающих в области открытой фундаментальной науки по критериям эффективности (например, ПРНД + цитирование за 5 лет) и, отобрав группу лидеров в каждой области науки дать им нормальное финансирование на 3 -5 лет. Результаты опубликовать в Интернете. Материалы для оценки уже представлены в заявках и отчетах, каждой из школ и могут быть проверены и дополнены работой в доступной в РФ версии Web of Science 1991-2007.

http://www.scientific.ru/dforum/scilife/1170735134

Исходные данные собрать, видимо, несложно. Но дальше возникнут трудности сравнения между собой разных групп (например, теоретиков и экспериментаторов), что проблематично корректно провести даже внутри одной отрасли науки. Кроме того, по сути вы предлагаете новый конкурс, но раз так, правильно ли ограничивать состав его участников теми группами, которые ранее были отмечены как ведущие школы, при понимании несовершенства действующей системы их отбора?

и т.д.; вся ветка http://www.scientific.ru/dforum/scilife/1170702963

[Сергей Шишкин]

Статистика по лидерам "научных школ"

http://www.scientific.ru/dforum/scilife/1184386965

http://grants.extech.ru/grants/2006/common/winners...
Всего 66 научных школ. В четырех - по два руководителя.
В Scopus просмотрено 68 фамилий. Из них: академиков - 34 (51,5%), член-корров - 11 (16,2%), профессоров - 23 (33,8%).

Данные по h-индексу для всей выборки (n = 68):
Min - 0
Max - 26
Среднее - 5
Медиана - 4
Ст. откл. - 5
h-индекс >=10 - 11 (16.2%)
наиболее часто встречаемый h-индекс - 2-3 (22 раза)
h-индекс <=5 - 47 (69.1%)

Данные по h-индексу для академиков (n = 34):
Min - 1
Max - 26
Среднее - 5.6
Медиана - 4.0
Ст. откл. - 4.8
h-индекс >=10 - 6 (17.6%)
наиболее часто встречаемый h-индекс - 5 (6 раз)
h-индекс <=5 - 23 (67.6%)

Данные по h-индексу для академиков и член-корров (n = 45):
Min - 1
Max - 26
Среднее - 5.7
Медиана - 5.0
Ст. откл. - 4.7
h-индекс >=10 - 8 (17.8%)
наиболее часто встречаемый h-индекс - 3 (7 раз)
h-индекс <=5 - 28 (62.2%)

Данные по h-индексу для профессоров (n = 23):
Min - 0
Max - 14
Среднее - 3.4
Медиана - 2.0
Ст. откл. - 3.8
h-индекс >=10 - 3 (13.0%)
наиболее часто встречаемый h-индекс - 2 (7 раз)
h-индекс <=5 - 19 (82.6%)

Распределение по h-индексу:
---все----------члены академии--профессора
00 ****         -               -****
01 *******      -*****          -**
02 ***********  -****           -*******
03 ********     -*******        -****
04 *******      -******         -*
05 *******      -******         -*
06 ***          -***            -
07 ***          -***            -
08 ***          -**             -*
09 *            -*              -
10 ***          -**             -*
11 **           -**             -
12 **           -*              -*
13 *            -*              -
14 *            -               -*
15              -               -
16 *            -*              -
17              -               -
18              -               -
19              -               -
20              -               -
21              -               -
22              -               -
23              -               -
24              -               -
25              -               -
26 *            -*              -

http://www.scientific.ru/dforum/scilife/1184389835

<...> какие выводы? То, что во главе "школ" стоят не самые сильные ученые? А дальше? Дальше этого-то не пойдешь. Про сами "школы" ведь на основе этих "чиселок" ничего не скажешь. Здесь не действует принцип "скажи мне, кто твой друг...". Надо смотреть выход всей "школы". Со всеми учениками. Вот ты писал, что если есть хорошие ученики, то они будут ссылаться на основоположника и повышать его ИЦ. Здесь очень рваная логика. Ты не учитываешь множество факторов.

(1) "Школы" часто возглавляются вовсе не основоположниками. Основоположника может уже не быть в живых.
(2) Не секрет, что как и в заявках РФФИ, во главу в таких случаях ставят "проходимого" товарища (по формальным - академик, профессор - или административным - директор и т.д. - признакам). Это годами наработанная тактика в условиях "выживания". Можно осуждать? - Можно. Но зачем? 

И т.д.

"Школы", в отличие от грантов РФФИ, разбудивших сознание сотен, а может и тысяч нс, были, действительно, средством "поддержания штанов". Причем, задумывались, как благое дело - спасти остатки устойчивых научных групп, которые выделялись по, в общем-то, понятному признаку. У нас в институте, например, есть две "школы". Обе идут от уже умерших основоположников. Причем, одна "школа" так на западе до сих пор и называется "ленинградская школа астрофизики" (не мы придумали). Потом пошла жуткая девальвация, и школы стали плодиться как кролики. Это все бедность проклятая и маразм статусного финансирования. Вспомни, как пачками стали переименовываться пединституты в университеты. Ведь не ради престижа! Другой статус - другое финансирование. Вот когда будет это переломлено в сознании, что платить надо за конкретные результаты, а не за "звания", "корочки", "статус" , тогда и перестанут стремиться к этой самой статусности. А так это безполезное морализаторство.

(+ см. ответ http://www.scientific.ru/dforum/scilife/1184390195 (и далее?))

http://www.scientific.ru/dforum/scilife/1184389174

1) Более 80% научных школ (в науках о Земле), таковыми не являются.
2) В основной массе ни "академики", ни "профессора" не соответствуют минимальным критериям известного ученого (для наук о Земле)(~ h в Scopus >=10)
3) Простое разрушение структуры РАН и смещение науки в сторону других существующих организационных форм (ВУЗы, ГНЦ и т.п.) приведет к ухудшению ситуации.

Выводы 1 и 2 в общем ожидаемы. Вывод 3 полностью согласуется с выводом Натальи Сотниковой двух(?)-годичной давности по анализу списков Штерна. Ситуация с членами РАН печальна, но просто выбирать не из кого.

Думаю, что исправление ситуации может идти двумя, жестко связанными между собой путями. (1) Развитие массового фонда типа РФФИ для поддержки максимального количества научных групп и (2) создание фонда поддержки реальных научных школ. Для реализации первого пути требуется тонкая настройка, состоящая из (а) налаживания обратной связи между фондом и заявителем посредством выдачи рецензий, (б) налаживания прозрачности Фонда посредством выставления в интернете названий проектов победителей и проектов не получивших поддержку, (в) усиления ответственности руководителей посредством обнародывания списка публикаций по поддержанным проектам. Для реализации второго пути требуется кардинальная перестройка системы состоящая из (а) введения в экспертные комиссии только членов, проходящих высокие формальные пороги (например, по h-индексу) и (б) обязательного проведения конкурса в два этапа подобно Соболевским грантам (1 этап - отсечение заявителей по формальным показателям, 2 - этап рецензирование проектов и экспертная панель).

Суммы поддержки по проектам по массовым конкурсам должны составлять 10-50 куе в год.
Суммы поддержки по конкурсам школ должны составлять 100-1000 куе в год (или лучше 300-3000 куе в три года, у нас же 3-х годичный бюджет теперь) и должны предусматривать возможность контрактного наема.

По научному оборудованию:
(1) Для РАН следует сохранить сегодняшнюю систему закупок (в которой институты или консорциумы институтов - ЦКП) закупают оборудование через спецкомисии РАН и отделений РАН.
(2) Ввести конкурсы МОН (подобно лотам, но с более жесткой и прозрачной системой экспертизы) как для институтов, так и для отдельных групп (тех же научных школ).

http://www.scientific.ru/dforum/scilife/1184390526

Алексей,
два вопроса, для начала:
1) Как Вы думаете, слышали ли хоть раз в своей жизни правители российской науки о слове "индекс Хирша", и как РАН воспримет призыв о введении еще одного метода оценки научной деятельности после кровавых битв с ПРНД?
Учтем также то, что даже в наиболее развитых странах мира индекс Хирша пока никем официально не учитывается, даже на заседаниях панелей экспертов фондов; 
2) Кто будет осуществлять экспертизу проектов новых "массового фонда типа РФФИ", "фонда поддержки реальных научных школ", "конкурсы МОН (подобно лотам...", если даже у единственного РФФИ в данный момент наблюдается нехватка экспертов?

ответы (и продолжение дискуссии?) - см. http://www.scientific.ru/dforum/scilife/1184392737 и далее

[Г.А.Цирлина]

Статистика по лидерам "научных школ"

Хирш в scopus - это вообще не инструмент для такого анализа. Разве что для сопоставления «молодых ученых», у которых первые публикации после 95 года, но именно этой-то категории среди руководителей потенциальных «школ» совсем нет.

Если разговор идет на уровне «разоблачений», насмешек над маститыми научными администраторами с h меньше (допустим) 10, то можно просто кого-то незаслуженно обидеть. Если разговор идет о конструктиве, типа предложения Александра I о противопоставлении матерой выборке «руководителей школ» - более сильной выборки «не удостоенных», то при такой методике, на одном только scopus, можно получить любой результат, вплоть до совсем неадекватного.

Почему использование h в версии scopus способствует не установлению реального различия результативности, а замазыванию этого различия (если говорить о существе дела, конечно, а не о разоблачениях)? Я не берусь дать развернутый анализ проблем scopus (их очень много, хотя игрушка полезная), но две тенденции в смысле занижения h укажу:
(1) (тривиально) степень занижения усиливается с возрастом - важно понять насколько;
(2) занижение имеет место и для среднего поколения «от 40 до 50», причем оно выражено тем сильнее, чем более человек продвинут и чем раньше это стало ясно мировому сообществу.

(1) В качестве запредельного примера приведу нобелевского лауреата по химии с уникальным h выше 80 при общем цитировании выше 35 тысяч (при огромном числе работ без соавторов!), все еще публикующегося. Scopus дает 22.  У нас таких людей, конечно, нет, но у нас есть высочайшей квалификации люди того же возраста, многотысячники, все еще работающие и еще как «тянущие» на руководителей школ, для которых scopus занижает именно в разы, выкидывает их даже ниже планки 10, которая для многих естественников - просто квалификационный критерий рядового доктора наук. А школы-то у таких людей есть (хотя не обязательно совсем уж в России).
(2) У меня завалялись кое-какие файлы с h по ISI, которые народ активно обсуждал в период последних академических выборов. Не много понадобилось времени сравнить с h по scopus: для продвинутых людей нашего поколения (которых не захотела ввести в свои ряды академия, хотя их h за 20, и вроде сам за себя говорит) этот неполноценный источник дает что-то от 12 до 17, в ряде случаев занижая вдвое. А для обычных людей с умеренным h едва за 10 (типа вот меня, моих основных российских коллабораторов - то есть собственно рядовых), занижения практически нет. Scopus уравнивает продвинутых и массовку, а именно это-то и вредно!

В результате с использованием сделанной по scopus выборки не удастся достойно показать, насколько велик разрыв между немногими сильными людьми из  «не отмеченных вниманием» и всей этой рыхлой усредненной массой тех же «руководителей школ».

Ну и усреднения эти, достали. Зачем усреднять тех, у кого h=2, в одном массиве с теми, у кого h=26? Что это дает кроме демонстрации и без того очевидной анекдотичности системы «поддержки школ»? Вроде как мы хотим понять где тут серьезный кадровый потенциал, так надо провести наконец планку, как в штатах на профессорские должности в нормальных местах, и прекратить анализировать то, что ниже планки. Что там, ниже, всего и всякого много - это же и без scopus понятно....

Граждане, может давайте завяжем с самодеятельной наукометрией без тщательного методического обеспечения, не будем радовать Маркусову et al, и тем более ее заказчиков, а?

[Сергей Шишкин]

http://www.scientific.ru/dforum/scilife/1184453664

Галина Александровна абсолютно права в том, что одна база данных даст хирш, отличный от предоставляемого другой базой, что хирш не является адекватным мерилом заслуг и потенциала, и т.д.

Но речь идет не об этом. Речь идет о тех отличных группах, которые закроют на основании НЕпринадлежности к ВНШ и победителям более мелких Президентских конкурсов (молодых докторов и кандидатов). Не сомневаюсь, среди них немало великолепных ученых, которые
а) не достигли зияющих высот членства в РАН
б) перешагнули через возрастную планку "молодых"
Как бы там ни было, но эти люди, очевидно, не фигурируют в "неподрасстрельных" списках РИНКЦЭ, и единственное, что их может спасти  -  демонстрация того, что они находятся выше среднего уровня ВНШ. И такая демонстрация может быть произведена ТОЛЬКО на основе данных, предоставляемых признанными международными научными базами данных. Только такими данными можно спорить со списками РИНКЦЭ.

Разумеется, РИНКЦЭ сам по себе ни в чем не виноват - он лишь честно исполнил роль инструмента в ходе реформы РАН.

Впрочем, утопающие должны бы сами подсуетиться с этим делом. Но не подсказать им хотя бы, куда плыть -не имел морального права.

[Alex K]

Вообще-то "научная школа" (даже и не обязательно "ведущая") - это не только сильный ученый - "лидер", а лидер + ученики. В случае "ведущей" школы ученики должны быть сильными и иметь своих учеников и т.д. И оценка должна идти не по личным показателям лидера, а по показателям ВСЕХ членов школы. При этом число сильных учеников и средние по школе их показатели, наверное, даже важнее личных показателей лидера. Кроме того (ИМХО) лидер школы должен быть автором чего-то принципиально нового (м.б. даже и цитируемого меньше мейнстримовых направлений), а не только цитируемых статей в мейнстриме.

[Г.А.Цирлина]

http://www.scientific.ru/dforum/scilife/1184453664

Но речь идет не об этом. Речь идет о тех отличных группах, которые закроют на основании НЕпринадлежности к ВНШ и победителям более мелких Президентских конкурсов (молодых докторов и кандидатов). Не сомневаюсь, среди них немало великолепных ученых, которые
а) не достигли зияющих высот членства в РАН
б) перешагнули через возрастную планку "молодых"

Разговор про школы возник только потому, что Александр I предлагал по участию в этой заморочке оценивать дееспособных. Ограничу сейчас свое определение «что такое школа» утверждением «это вовсе не то, что в основном до сих пор поддерживалось соответствующей программой» (с).

Реально разговор идет о том, как
(1) вскрыть слой тех, кто не фигурирует на виду у официоза (условно - у МОН), но всерьез и результативно работает;
(2) избежать при оценке общего числа таких людей включения в их ряды «статусных» фигур, не имеющих никакого самостоятельного научного смысла.

Я жестко настаиваю на том, что (1) важнее, а (2) не может найти решения до реализации (1). Начинать с (2) - просто влезать в очередную свару. Поэтому все разговоры типа «про хирш» представляют интерес прежде всего в рамках задачи (1).

Настаиваю также на том, что не существует единого массива, включающего всех дееспособных людей, но существуют разные недостаточные по этому признаку массивы, сопоставлением которых можно доковыряться до истины. Разумеется все эти массивы одновременно избыточны, поскольку включают «клиентов» для задачи (2), но при разумной схеме селекция произойдет автоматически.
1.
Школы (и лауреаты президентских грантов) - недостаточный массив с точки зрения задачи (1), вопреки несколько кавалерийскому суждению Александра I, поскольку есть немало нормальных людей, которые в эту дурь играть не хотели (или перестали довольно давно).
2.
Аналогичный массив - люди, которые претендовали на избрание в РАН, но избраны не были. Это массив колоссальной силы, в нем есть совершенно уникальные люди, которые никогда не играли в школы. Думаю, что перекрывание меньше 50%.
3.
Третий массив - руководители проектов РФФИ. В нем уже есть люди особой ценной категории - которые просто всю жизнь всерьез работают, но считают для себя невозможным играть ни в какие игры (в том числе избираться в РАН). Но и этот массив недостаточен, поскольку, например, работающие много за рубежом или имеющие крупные проекты других фондов иногда «пренебрегают» РФФИ.
4.
Массив с наиболее высокой концентрацией тех, кого ищут - списки Штерна, хотя они избыточны в части активного списка, а также неизбежно включают некоторое количество «статусных» фигур, наиболее сложных «клиентов», которых не отшить просто по формальным показателям. Понятно, что и эти списки могут быть недостаточны по некоторым специальностям из-за проблемы специфичных порогов.

Полагаю, что масивы 3 и 4 почти полностью поглощают 1 и 2, и если кто всерьез и трудозатратно готов заниматься этим исследованием (например, в МОН), то и надо заниматься 3 и 4. Вероятность существования людей, не «засветившихся» в 3 или 4, представляется довольно низкой.

Схематически я представляю процедуру так.

(i) Из базы данных РФФИ, которой никто из нас никогда не видел, выбираются сведения о руководителях завершенных проектов, и для каждого считается суммарный импакт статей, которыми люди отчитались. Нормируется (для начала) просто на сумму финансирования всех проектов, потом при желании можно на что угодно еще отнормировать. Мой опыт локального, но детального анализа в рамках узкой специальности показывает, что скорее всего получатся три группы с большими разрывами по этому показателю, причем границы не будут зависеть от конкретики нормировки.

(ii) Если действительно так получится, то нижняя группа отбрасывается как уж точно не имеющая никакого смысла, а для середняков и топ строится корреляция со списками Штерна. А может даже просто списки эти дополняются, то есть выборка из 3 сливается с 4.

(iii)  Дальше неизбежна разбивка по специальностям и независимый анализ «подсписков». Нужны минимум 4 показателя, три из которых в массиве 4 уже собраны: CI_total, CI7, CI_max и, конечно же, h. Какой именно h - «за всю жизнь» или «краткосрочный» - не берусь сейчас сказать, лучше бы и тот, и другой, как аналоги total и 7 соответственно, лишь бы они корректно определялись. Если показатель, пришедший из анализа массива 3, не коррелирует однозначно с остальными (наверняка корелирует...), можно его добавить.

Небольшое отступление - тут из зрительного зала проверку провели, потому что по WoS есть опция хирш считать за 10 лет. Что-то совпало с scopus, что-то нет. Заодно из зала подсказали по делу:
«Согласно Хиршу http://www.pnas.org/cgi/content/full/102/46/16569 есть ещё и такой показатель m, коэффициент пропорциональности между  h-фактором и количеством лет, за которые он набран. Т.е. если брать с 1996,  то грубо у Вас  m=1 ("a successful scientist"), у меня и N m=2  ("outstanding scientists, likely to be found only at the top universities or
major research laboratories", у  NN m=3 ("truly unique individual"). Конечно, Хирш  определяет это со времени первой опубликованной статьи, т.е. эти ремарки -
некое завышение заслуг, хотя как нулевое проближение для России пойдёт. А
главное, что m<1/2  однозначно  характеризует ну совсем неуспешного (безуспешного?) научного работника."

Допустим, пусть будет для полноты анализа пять показателей, включая h и m. Не надо сразу никакого регрессионного анализа, никаких попыток формализации, просто посортировать аккуратно в рамках каждой специальности по каждому из 5 показателей и .... и убедиться в том, что мы в полной дыре, и людей-то по ряду специальностей почти нет, ни по какому показателю... При сортировке обнаружатся разрывы, которые отсекут топ-группы (это не проверенный прогноз, интуитивный, дойти бы до этой стадии...). По специальностям моего типа полагаю, что топ будет отсекаться на уровне h = 20.

(iv) А дальше совсем просто. Все топ-группы, полученные из сортировок (а они по ряду показателей просто совпадут), надо селективно поддерживать, считать золотым фондом страны. Остальные дееспособные к ним просто подтянутся. И молодые, кто еще не дожил до своих «показателей», тем более подтянутся. Формулировка типа "a successful scientist" означает, что человек в состоянии решать свои проблемы, здесь или там, или здесь-там, не важно. А сможет ли он прыгнуть выше головы, то есть от h около 10 до h около 20 - это жизнь покажет, важно поддержать тех, кто выше уже прыгнул, они потянут остальных.

****************
На «Бытии» появилось сообщение http://www.scientific.ru/dforum/scilife/1184500994
о системе подбора экспертов в DFG. Нельзя нам сейчас так... Увы... Полностью дискредитированы и докторская степень, и профессорское звание. Полно докторов в возрасте за 60, не дотягивающих даже до активного списка (в котором есть уже даже «постдоки первого года»!!!), c h на уровне 3-4-5, потому что в стране никогда не было нижней планки. И член-корры такие есть, и академики, страна такая. И лучше она не станет, если не построить планку.... А смысловой опрос без планки выборщиков - вещь совершено бессмысленная. Вот на этом месте должен появится Александр Азбель, и мы с ним в очередной клинч войдем (с). Но он, похоже, в отпуске.

[Alexei Ivanov]

Идея стартовать со списков руководителей РФФИ хорошая, где бы только эти списки взять. Напишу начальникам 5 и 6 групп, пусть думают какое письмо от КС в РФФИ писать. То что помимо h есть еще m, это верно. Проблема определить год первой публикации (или у Хирша написано, что иногда надо брать не год первой публикации, а год начала узнаваимости автора (точно не помню, но как то так)). Для m, можно конечно взять и начать отсчет, скажем, с 25 лет. Для 35-летнего - 10 лет, для 45-ти летнего - 20 лет, для 55-летнего - 30 лет и т.д. Боюсь только, что количество успешных ученых при этом будет стремиться к 0. Ну и нужно иметь доступ к глубоким версиям ISI (чего у меня нет в принципе), а не к Scopus (халявный доступ к которому у меня истекет в конце года).

PS Самая серьезна техническая проблема заключается в том, как отсеевать однофамильцев. Это было не просто по школам сделать (а там всего ~70 человек, большинство из которых мне известны), а по РФФИ с их тысяным списком будут иногда получаться ужасные промахи.

[Г.А.Цирлина]

Идея стартовать со списков руководителей РФФИ хорошая, где бы только эти списки взять. Напишу начальникам 5 и 6 групп, пусть думают какое письмо от КС в РФФИ писать.
.....
Ну и нужно иметь доступ к глубоким версиям ISI (чего у меня нет в принципе), а не к Scopus (халявный доступ к которому у меня истекет в конце года).

Да нет, я обсуждаю схему не для чьей-то нашей самодеятельности, а для серьезной профессиональной работы, конечно не единственно возможную.

Списки руководителей РФФИ найти можно - с них же и начиналось составление списков Штерна. Но нужна именно база, с полной информацией о публикациях, представленных в отчетах. Для пробного анализа маленького поля можно, разумется, собрать публикации руками и проверить в них acknowledgements, но практика показала, что сил доводить такую работу до конца в разумный срок просто ни у кого нет.

[Сергей Шишкин]

Идея стартовать со списков руководителей РФФИ хорошая, где бы только эти списки взять.

А чем плохи для сугубо предварительного анализа информационные бюллетени РФФИ http://www.rfbr.ru/default.asp?section_id=1565 - ФИО + названия организации + названия проекта? Что касается разбирательств с однофамильцами, разными написаниями фамилий на английском и т.п., то ведь в данном случае не нужно полный анализ делать - достаточно аккуратно составить случайную выборку, и, конечно, не замахиваться сразу на все науки. Более серьезный анализ, конечно, требовал бы более полных данных, но когда они еще их предоставят...

[Alexei Ivanov]

Да нет, я обсуждаю схему не для чьей-то нашей самодеятельности, а для серьезной профессиональной работы, конечно не единственно возможную.

Ну так в РФФИ целый отдел наукометрический, как я понимаю. Проблем с доступом к данным у них нет. Есть проблема в том, что профессиональные наукометры не хотят делать именно эту работу.

[Alexei Ivanov]

А чем плохи для сугубо предварительного анализа информационные бюллетени РФФИ http://www.rfbr.ru/default.asp?section_id=1565 - ФИО + названия организации + названия проекта? Что касается разбирательств с однофамильцами, разными написаниями фамилий на английском и т.п., то ведь в данном случае не нужно полный анализ делать - достаточно аккуратно составить случайную выборку, и, конечно, не замахиваться сразу на все науки. Более серьезный анализ, конечно, требовал бы более полных данных, но когда они еще их предоставят...

Начал смотреть эти списки и вторая же фамилия дает всего 2 статьи, 0 за последние 7 лет. Вопрос, как такой человек получил грант РФФИ?

[Железняк Александр]

Азбелю и Балдину

Раз уж ГА решила накликать Азбеля,

А смысловой опрос без планки выборщиков - вещь совершено бессмысленная. Вот на этом месте должен появится Александр Азбель, и мы с ним в очередной клинч войдем (с). Но он, похоже, в отпуске.

то он волшебным образом должен тут появиться. А потому напишу сюда - пусть это и небольшой оффтоп.

Посмотрите, что нарыл Сергей:
http://scientific.ru/society/forum.php?topic=879.msg9747#msg9747
А ведь этот сайт, например :
http://www.rusrev.org/content/fabric/default.asp?shmode=3
- очень даже милый! по оформлению и структуре он по мне даже приятнее СТРФа с ОПЕКом.

Я к чему : а не присоединиться ли к этому гумантитарному сообществу негумантитарным экспертам, дополнив его так же, как дополнили несуществующее Общество наши младокососы ? ой, простите - младокаэсы...:-)

И будет нам слияние двух лун...смычка на Эльбе, так сказать. И на всем готовом (с)

[Alexei Ivanov]

Вот данные по РФФИ. Просмотрел 10% списка победителей 2006 г. Распределение в нижней части просто копирует распределение по школам. http://www.scientific.ru/dforum/scilife/1184582802

[Сергей Шишкин]

10% - это от наук о Земле?

Как составлялась выборка: просто верхние 10% алфавитного списка?

[Сергей Шишкин]

http://www.scientific.ru/dforum/scilife/1184593578

Не знаю как в школах - но в инициативках по крайней мере по математике, где я отчасти внутри если не кухни то прихожей, руководитель проекта 1) не всегда истинный лидер по работе, 2) не всегда истинный лидер по организации, 3) не всегда самый цитируемый ученый, при чем "не всегда" это отнюдь не доли процента. Здесь по существу дела следует считать суммарный хирш всех членов проекта. Наверно то же самое и для школ.

Кроме того (опять имея в виду математику) довольно много групп-а (а возможно и школ) на самом деле не являются группами, по существу объединенными совместной работой - скорее объединились искусственно исходя из того, что поодиночке не пролезешь а вместе получится.

В общем вся эта наукометрия в значительной мере кофейная гуща, хотя эмоционально разница между хиршем 2 и 26 вполне ощутима.

[Alex K]

Не знаю как в школах - но в инициативках по крайней мере по математике, где я отчасти внутри если не кухни то прихожей, руководитель проекта 1) не всегда истинный лидер по работе, 2) не всегда истинный лидер по организации, 3) не всегда самый цитируемый ученый, при чем "не всегда" это отнюдь не доли процента. Здесь по существу дела следует считать суммарный хирш всех членов проекта. Наверно то же самое и для школ.

В инициативках РФФИ за выполнение работы отвечает ТОЛЬКО руководитель. Для исполнителей степень их участия и оплату также определяет лично и только руководитель. Никаких установленных фондом прав и обязанностей исполнители не имеют. Так что считать какие-либо индексы для всех исполнителей проекта РФФИ-а смысла не имеет.
Другое дело - школа, которая (просто по определению своему) подразумевает наличие учеников и, притом, сильных.

[Александр Азбель]

На «Бытии» появилось сообщение http://www.scientific.ru/dforum/scilife/1184500994
о системе подбора экспертов в DFG. Нельзя нам сейчас так... Увы... Полностью дискредитированы и докторская степень, и профессорское звание. Полно докторов в возрасте за 60, не дотягивающих даже до активного списка (в котором есть уже даже «постдоки первого года»!!!), c h на уровне 3-4-5, потому что в стране никогда не было нижней планки. И член-корры такие есть, и академики, страна такая. И лучше она не станет, если не построить планку.... А смысловой опрос без планки выборщиков - вещь совершено бессмысленная. Вот на этом месте должен появится Александр Азбель, и мы с ним в очередной клинч войдем (с). Но он, похоже, в отпуске.

Угадали, в отпуске. Однако, при связи, но в клинч ни с кем входить не собираюсь. Я считаю, что подбор экспертов - технологическая вещь, которая, в принципе, не очень важна, и, вообще говоря, есть внутреннее дело каждого конкретного фонда. Фонд должен отвечать за конечный результат своей работы, а не за промежуточные этапы. Конечный результат работы фонда, в самом главном приближении, есть совокупность поддержанных проектов с их финальными отчетами, и очень правильно, что речь заводится именно о проверке этих отчетов, в первую очередь, разумеется, в смысле публикаций (для фундаментальных наук). Следующее приближение результатов работы фонда, как я уже давно писал - совокупность эксперт-рецензий, в том числе и на отклоненные проекты. С поправкой уважаемых коллег, что форма эксперт-анкет и алгоритм их заполнения должны обеспечивать их нетривиальное содержание, что, например, для РФФИ в настоящее время не выполняется.

А чем плохи для сугубо предварительного анализа информационные бюллетени РФФИ http://www.rfbr.ru/default.asp?section_id=1565 - ФИО + названия организации + названия проекта? Что касается разбирательств с однофамильцами, разными написаниями фамилий на английском и т.п., то ведь в данном случае не нужно полный анализ делать - достаточно аккуратно составить случайную выборку, и, конечно, не замахиваться сразу на все науки. Более серьезный анализ, конечно, требовал бы более полных данных, но когда они еще их предоставят...

Там не навание организации, а сокращение. Это две большие разницы. Если не пробовали по сокращению восстанавливать название и прочие реквизиты, попробуйте. Что еще хуже, там не имя-отчество полностью, а инициалы. Вот в грантах Президента и ФЦНТП фигурирует полное название организации и полные ФИО, и пожалуйста, все гораздо проще - http://scientific.ru/society/forum.php?topic=154.msg9640#msg9640, например. А есть и гораздо более подробная информация, но слишком громоздкая для форума.  Даже с базой данных РАН по организациям с их сайта все не так просто, там довольно больший бардак. Полные данные РФФИ не предоставляет даже Фурсенко, свидетели некоего минискандала по этому поводу на недавнем круглом столе здесь присутствуют.

Опять же, не хочу повторяться, но я уже писал, что наилучшее применение активности  организации, претендующей на создание "российского индекса цитируемости" -  навести для начала порядок в соответствии русскоязычного и англоязычного написания ФИО автора статьи и названия организации. Без этого "списки Штерна", а также все зарубежные базы данных (ISI etc.) нельзя воспринимать всерьез, т.е. более чем некую информацию к размышлению, не имеющую никаких юридических и финансовых последствий.

PS Самая серьезна техническая проблема заключается в том, как отсеевать однофамильцев. Это было не просто по школам сделать (а там всего ~70 человек, большинство из которых мне известны), а по РФФИ с их тысяным списком будут иногда получаться ужасные промахи.

Это действительно так. Для решения этой проблемы хорошо иметь информацию о годе рождения и о полном имени-отчестве, тогда количество ошибок уменьшается на порядки. Хотя есть совпадения - полные тезки, одного года рождения и работающие в одной организации, это уже лечится только ручным сравнением темы работ. Впрочем, таких единицы даже в многотысячном массиве. Более серьезная проблема -  отслеживание девушек-ученых, сменивших фамилию. Это не лечится вообще никак до введения некоего единого Id, на который ИНН и пенсионный не тянут, ибо также могут меняться.

P.S.
А что касается "школы" - ну так там действительно надо оценивать не писучесть лидера школы, а результативность людей, согласных подписаться под тем, что они считают себя его учениками. И если, как обсуждали на "старом" форуме, уже давно вышедший в тираж ученый имеет кучу статей в соавторстве со своими благодарными учениками, которых он поддержал хотя бы морально (что может быть немаловажно) и которые от него уже давно никак административно не зависят, то такому мэтру честь, хвала и большие бабки.

[Сергей Шишкин]

А чем плохи для сугубо предварительного анализа информационные бюллетени РФФИ http://www.rfbr.ru/default.asp?section_id=1565 - ФИО + названия организации + названия проекта? Что касается разбирательств с однофамильцами, разными написаниями фамилий на английском и т.п., то ведь в данном случае не нужно полный анализ делать - достаточно аккуратно составить случайную выборку, и, конечно, не замахиваться сразу на все науки. Более серьезный анализ, конечно, требовал бы более полных данных, но когда они еще их предоставят...

Там не навание организации, а сокращение. Это две большие разницы. Если не пробовали по сокращению восстанавливать название и прочие реквизиты, попробуйте. Что еще хуже, там не имя-отчество полностью, а инициалы. Вот в грантах Президента и ФЦНТП фигурирует полное название организации и полные ФИО, и пожалуйста, все гораздо проще - http://scientific.ru/society/forum.php?topic=154.msg9640#msg9640, например. А есть и гораздо более подробная информация, но слишком громоздкая для форума.  Даже с базой данных РАН по организациям с их сайта все не так просто, там довольно больший бардак. Полные данные РФФИ не предоставляет даже Фурсенко, свидетели некоего минискандала по этому поводу на недавнем круглом столе здесь присутствуют.

Тем не менее при аккуратном подходе к составлению выборок этих данных достаточно для некоторых конкретных задач - в т.ч. для сравнения "охвата" сильных ученых грантами научных школ и грантами РФФИ (естественно, с оговоркой: в качестве руководителей гранта). Напр., такая элементарная метода: 1) выбрать случайным образом равное число руководителей в достаточно точно совпадающих разделах классификаторов тех и других грантов; 2) сократить информацию по научным школам до той, которая есть по грантам РФФИ (т.е. оставить инициалы вместо полного имя-отчества и сокращенные названия организаций вместо полных); 3) затем это берет другой человек (который ничего не знает про полные названия организаций) и ищет в WoS данные только по тем руководителям, которых можно однозначно идентифицировать, иными словами, у которых нет двойников (вот тут самый неприятный момент - придется вручную просматривать сведения по большому числу статей).

[Сергей Шишкин]

И если, как обсуждали на "старом" форуме, уже давно вышедший в тираж ученый имеет кучу статей в соавторстве со своими благодарными учениками, которых он поддержал хотя бы морально (что может быть немаловажно) и которые от него уже давно никак административно не зависят, то такому мэтру честь, хвала и большие бабки.

Этот "мэтр" может быть просто неумеренно авторитарным руководителем института, отдела или большой лаборатории, заставляющий всех вписывать себя в публикации. Хотя, вероятно, можно различить случай благодарных учеников (который, строго говоря, этически тоже явно небезупречен) и случай "учеников" поневоле на основе одного лишь библиографического анализа: возможно, достаточно было бы учитывать только тех учеников, которые не работают в одной организации с лидером, Но, конечно, не столько включение в статьи, сколько цитирование. Сложнее случай, когда псевдолидер обеспечивает "благодарность" псевдоучеников распределением в их пользу благ вне организации. Тут следовало бы смотреть просто суммарное цитирование (тот же Хирш), и особенно цитирование из-за границы. Но на то, что чиновники серьезно отнесутся к учету цитирования из-за границы, особенно мало надежд (по чисто политическим причинам).

Можно возразить, что обильно цитировать могут не только главу школы. Но если столь уж принципиально выделить именно глав школ, то можно цитирование сделать первым этапом отбора, а на втором этапе - по каждому "кандидату в лидеры школ" просить его учеников (но не всех, а также лишь тех, кто проходит через определенное формальное сито) заполнить (лучше в интернете, по паролю) небольшую анкету с вопросами, подтверждающими существование отношений "учитель-ученик" в той или иной прозрачной форме.

[Александр Азбель]

Тем не менее при аккуратном подходе к составлению выборок этих данных достаточно для некоторых конкретных задач - в т.ч. для сравнения "охвата" сильных ученых грантами научных школ и грантами РФФИ (естественно, с оговоркой: в качестве руководителей гранта). Напр., такая элементарная метода: 1) выбрать случайным образом равное число руководителей в достаточно точно совпадающих разделах классификаторов тех и других грантов;

Ну, совпадают они действительно неплохо, "сра...зу видно - бывалый мореход" (с).

2) сократить информацию по научным школам до той, которая есть по грантам РФФИ (т.е. оставить инициалы вместо полного имя-отчества и сокращенные названия организаций вместо полных);

С именем-отчеством - редуцировать до инициалов не проблема, разумеется. А вот откуда возьмете сокращения? А если возьмете, то где гарантия того, что сокращение в списке РФФИ совпадает с официальным сокращением в уставе организации? Далее - человек очень даже может работать в нескольких местах и писать ту организацию, которая ему в данный момент интереснее. Ну, правда, число таких организаций на одного человека ограничено несколькими штуками, и можно автоматизировать постройку некоего разумного списка мест работы на каждую персону.

3) затем это берет другой человек (который ничего не знает про полные названия организаций) и ищет в WoS данные только по тем руководителям, которых можно однозначно идентифицировать, иными словами, у которых нет двойников (вот тут самый неприятный момент - придется вручную просматривать сведения по большому числу статей).

Да уж, очень неприятный. А кто и про кого сможет однозначно сказать, есть двойники или нет?


В общем, разумеется, такая работа необходима. Даже при наличии самой скудной информации. Но, пока в содержании этой информации не наведен железный порядок, результаты обработки информации могут рассматриваться только, еще раз, только как информация к размышлению и, что немаловажно, повод для наведения порядка и повышения открытости информации.

Этот "мэтр" может быть просто неумеренно авторитарным руководителем института, отдела или большой лаборатории, заставляющий всех вписывать себя в публикации.

Ну, я же уточнил - "которые от него никак административно не зависят". Хотя, конечно же, согласен, формализовать и проверить таковую независимость, наверное, достаточно сложно. Скажем так, наличие достаточного количества статей без соавторства лидера школы, может быть, более или менее однозначно свидетельствует о некоей независимости.

Сложнее случай, когда псевдолидер обеспечивает "благодарность" псевдоучеников распределением в их пользу благ вне организации. Тут следовало бы смотреть просто суммарное цитирование (тот же Хирш), и особенно цитирование из-за границы. Но на то, что чиновники серьезно отнесутся к учету цитирования из-за границы, особенно мало надежд (по чисто политическим причинам).

Это да. Хотя, как писал коллега Ваксман, и за границу влияние наших псевдолидеров вполне может простираться.


P.S.

Можно возразить, что обильно цитировать могут не только главу школы. Но если столь уж принципиально выделить именно глав школ, то можно цитирование сделать первым этапом отбора, а на втором этапе - по каждому "кандидату в лидеры школ" просить его учеников (но не всех, а также лишь тех, кто проходит через определенное формальное сито) заполнить (лучше в интернете, по паролю) небольшую анкету с вопросами, подтверждающими существование отношений "учитель-ученик" в той или иной прозрачной форме.

Независимый опрос учеников об учителе - это очень правильно! Собственно, это должен быть один из главных критериев оценки педагогической составляющей труда ученого.

[Alexei Ivanov]

10% - это от наук о Земле?

Как составлялась выборка: просто верхние 10% алфавитного списка?

Почти, но с пропусками "сложных" для однозначной идентификации фамилий.

[Alexei Ivanov]

В общем, разумеется, такая работа необходима. Даже при наличии самой скудной информации. Но, пока в содержании этой информации не наведен железный порядок, результаты обработки информации могут рассматриваться только, еще раз, только как информация к размышлению и, что немаловажно, повод для наведения порядка и повышения открытости информации.

Естественно, как информация к размышлению.

[Наталья]

Пожалуй, продублирую вот это сообщение (http://www.scientific.ru/dforum/scilife/1184705489) еще и здесь.
-------------------------------------------------------------------------------------
По просьбе Леши Иванова выставляю проведенное им сравнение определений h по двум базам данных для одной и той же небольшой выборки руководителей проектов РФФИ, выигравших гранты в 2006 году по астротематикам. Выборка полная в том смысле, что это практически ВСЕ астропроекты за этот год.

Использовался Scopus и астрономическая база данных NASA ADS.

Здесь самым важным было то, что одна из баз данных узкопрофессиональная, т.е. "сечет" все. Первоначально в выборке было 22 человека. Но с тремя фамилиями не удалось справиться (с одной "не справилась" я в NASA ADS, а с двумя другими "не справился" Леша в Scopus'e). Осталось 19 фамилий.

Итак. По хиршам Scopus - ADS

11 - 11
14 - 18
7 -  6
11 - 18
6 -  9
3 -  3
2 -  2
13 - 16
20 -  5
15 - 25
6 - 13
7 - 10
9 - 13
9 - 12
5 -  7
6 - 13
5 - 16
4 -  6
8 -  8

Имеется два явных (разносторонних) выброса: 20/5 и 5/16. Я их объяснить не могу. Если отбросить эти две точки, то по лешиным прикидкам коэф. линейной корреляции 0,89 (n = 17) с уравнением ADS = 1.38*Scopus + 0.15.

Мы оба делаем из этого очень осторожный вывод (и даже не вывод, а "узелок на память") насчет ограничений по Scopus'у. А именно. Если речь идет о больших выборках (т.е. о статистике), то вполне можно применять данные Scopus'а. Например, для сравнения разных областей наук. Если спускаться на "молекулярный уровень", т.е. пытаться добраться до отдельных людей, то тут нужен более тонкий анализ. Т.е. вопрос упирается в цель исследования.

Все это естественно грубые прикидки, которые всегда делаются перед любой серьезной постановкой задачи (если, конечно, ее кто-то будет ставить).
-------------------------------------------------------------------------------------------------------
P.S. Задним числом стали понятны выбросы. Один ("неправильный", тот что 20 Scopus versus 5 ADS) скорее всего объясняется тем, что руководитель проекта физик, и в профессиональной астрономической базе данных "засвечен" плохо. Второй выброс ( 5 Scopus versus 16 ADS) - это "правильный" выброс. О чем-то подобном говорила Галина Цирлина. Там речь идет о сильно "продвинутом" человеке, причем "продвинувшемся" очень рано. Профессиональная база его отслеживает правильно, а Scopus "врет". Все некрайние случаи представлены неплохо, хотя Scopus слегка преуменьшает h.

[Г.А.Цирлина]

P.S. Задним числом стали понятны выбросы. Один ("неправильный", тот что 20 Scopus versus 5 ADS) скорее всего объясняется тем, что руководитель проекта физик, и в профессиональной астрономической базе данных "засвечен" плохо. Второй выброс ( 5 Scopus versus 16 ADS) - это "правильный" выброс. О чем-то подобном говорила Галина Цирлина. Там речь идет о сильно "продвинутом" человеке, причем "продвинувшемся" очень рано. Профессиональная база его отслеживает правильно, а Scopus "врет". Все некрайние случаи представлены неплохо, хотя Scopus слегка преуменьшает h.

Я уже писала пару дней назад Алексею, что мы с коллегой провели сравнительный анализ h по scopus и WoS, для того, чтобы разделить два очевидных эффекта - разный охват по годам и собственно несовершенство scopus. Для чего сравнивали, в том числе, урезанные десятилетним периодом h по WoS (там есть такая опция). При этом из-за особенностей урезания периодов цитируемых и цитирующих работ есть систематическая разница, и она может быть, в том числе, в строну завышения h по scopus.
При корректном (по временному интервалу) сопоставлении самое сильное из выявленных различий - 19/24.
Но конечно нам с коллегой не пришло в голову заниматься статобработкой.... Ну сколько можно этой самодеятельности, ведь понятно же, что для строгого анализа использование scopus не выдерживает критики. Когда им пользуешься реально и видишь все эти глюки с местами работы, а иногда и с инициалами, когда сравниваешь его "показания" при включенном и выключенном "exact match", становится очевидно, что scopus в пинципе не может использоваться в качестве наукометрической базы. Это удобная игрушка для поиска ссылок, не более того.
Не надо никого запутывать, вываливая сырые мелкие массивы. Если найдутся адекватные профессионалы, то сделают эту работу всерьез, используя согласованную с научными работниками методику. Вот ее-то, и только ее имеет смысл обсуждать.

[Наталья]

Да, не переживайте, Вы так, Галя. Никто из "посторонних" ни на какой наукометрический лот не претендует. Угрозы никакой.

А что касается методики, так ведь, прежде чем ее обсуждать (не то что предлагать), надо бы "материал руками пощупать".

Вот Вы с коллегой "пощупали". - "Честь Вам и хвала, почет и премия, медаль и путевка в Сочи." (с)
"Щупали" молча? - Дело вкуса.
Кто-то занимается "ощупыванием" вслух. "Своего" материала и "своих" баз данных. Делится полученными наблюдениями в "курилке". - Запрещаете?

[Г.А.Цирлина]

Да, не переживайте, Вы так, Галя. Никто из "посторонних" ни на какой наукометрический лот не претендует. Угрозы никакой.

Здесь нет "претендующих на лоты", мы вообще-то все из другой жизни. Но если есть возможность повлиять на методическое обеспечение конкретных работ, которые кто-то затевает (пока я не вижу, к сожалению, такой возможности всерьез) - это конечно же надо делать. Поскольку работа КС может пересечься с такими видами деятельности, а Алексей - наиболее "наукометрически озабоченный" член КС, я все еще надеюсь на его взвешенные и строго выверенные действия в перспективе.

А что касается методики, так ведь, прежде чем ее обсуждать (не то что предлагать), надо бы "материал руками пощупать".
Вот Вы с коллегой "пощупали". - "Честь Вам и хвала, почет и премия, медаль и путевка в Сочи." (с)
"Щупали" молча? - Дело вкуса.
Кто-то занимается "ощупыванием" вслух. "Своего" материала и "своих" баз данных. Делится полученными наблюдениями в "курилке". - Запрещаете?

Странное слово "запрещаете". Я выражаю (не впервые) свое отношение к общему подходу. Разумеется, надо пощупать руками, но это все-таки работа, а не игры. В научной "курилке" невозможно сначала назвать цифры, а потом "задним числом" думать об их происхождении (так и не оговорив очевидные вещи, о которых надо думать прежде, чем цифры собирать - все различия сопоставляемых баз).
Попробуйте все-таки относиться к этому как к работе, то есть совсем всерьез и с полной ответственностью.

Кстати, о премиях - мало что в жизни вызывает у меня такое отвращение, как мысль о попадании в Сочи (с).

[Наталья]

Поскольку работа КС может пересечься с такими видами деятельности, а Алексей - наиболее "наукометрически озабоченный" член КС, я все еще надеюсь на его взвешенные и строго выверенные действия в перспективе.

А вот это Вы зря. Имею в виду "еще надеюсь". Леша совершенно зрелый и самостоятельный исследователь. Справится и без наших советов.

[Г.А.Цирлина]

Леша совершенно зрелый и самостоятельный исследователь. Справится и без наших советов.

Мне показалось, что именно Алексей и хотел обсуждения. Уж как умею - так и участвую, в меру своего понимания, согласно которому тут до линейной (и какой угодно иной) корреляции - как до луны.