х. Для сравнения, например, только 64 % ссылок на французский журнал Actes de la recherche en sciences sociales происходят из франкоязычных источников, 26 % — из англоязычных и 3 % — из немецкоязычных. Географическое происхождение ссылок также указывает на более ярко выраженный локальный характер American Journal of Sociology, поскольку две трети ссылок происходят из США. Для сравнения, лишь 40 % учтенных в Web of Science ссылок на статьи, напечатанные в Actes de la recherche en sciences sociales, имеют источником французские издания[131]. Итак, мы видим, что хотя общий объем цитирования американского журнала в десять раз выше, чем у французского журнала, это вовсе не означает большей степени его интернационализации.
Будучи глухими к этим тонкостям, как и к рискам возможных злоупотреблений, сторонники механистической количественной оценки опираются исключительно на статистику, способствуя вытеснению из процесса оценивания качественного аспекта, считающегося субъективным. Количественные показатели могут анализироваться людьми, абсолютно далекими от рассматриваемой научной области. Но парадокс состоит в том, что для оценки исследователя необходимо собрать комиссию, состоящую из коллег, хорошо разбирающихся в своей области. Эти специалисты хорошо знают, какие журналы являются лучшими в их области, и не нуждаются в списке, составленном группой неизвестных экспертов, распределивших журналы по категориям A, B и С. Напротив, людям, ничего не понимающим в данной области, эти рейтинги дают основание считать, что они выносят обоснованное суждение. Но они и не должны принимать участие в оценочных комиссиях! Распространение все новых плохо сконструированных показателей, таким образом, способствует вытеснению компетентной оценки, которая должна принимать во внимание показатели продуктивности, но интерпретировать их в специфическом контексте. И тот факт, что некоторые исследователи участвуют в разработке этих рейтингов и сами пользуются этими бессмысленными показателями, ничуть не отменяет того, что данные методы минимизируют роль качественной оценки научной работы, заменяя ее оценками механистическими.
За оценку без рейтингов
Часто путают оценку и рейтингование. В действительности это две совершенно разные операции. Если вторая подразумевает первую, то первая вовсе не обязательно приводит ко второй. В отличие от оценки, которая призвана в определенный момент времени подвести промежуточный итог работе, проделанной индивидом или организацией, и адресуется прежде всего данному человеку или организации, рейтинг всегда связан с публичностью и пиаром. Но донесение до общественности — процесс отнюдь не безобидный, чреватый побочными эффектами, способными причинить ущерб репутации.
Следует также различать официальный и неофициальный рейтинги. Любой исследователь спонтанно ранжирует для себя журналы своей дисциплины. Некоторые журналы более престижны, чем другие. Ученый-физик знает, что ему лучше публиковаться в Physical Review Letters, чем в Il Nuovo Cimento. Но эти субъективные и более-менее общепринятые рейтинги подвижны и различаются от человека к человеку. Однако ситуация кардинально меняется, когда официальная организация публикует официальный список, где во всеуслышание объявляется, что журналу Il Nuovo Cimento присвоена оценка C, а журналу Physical Review Letters — оценка A. Такая официализация неизбежно порождает негативные эффекты, к которым не приводят спонтанные рейтинги среди самих исследователей. Действительно, журнал X публикует множество статей, и некоторые из них оригинальные, выдающиеся и более значительные, чем статьи, опубликованные в журнале Y. И исследователи, внимательно следящие за развитием своей научной области, это прекрасно знают. Благодаря неформальному общению внутри сообщества и различным типам взаимодействий складывается спонтанная, подвижная и нестигматизирующая оценка. Таким образом, негласная иерархия журналов в той или иной научной области ни в коей мере не равнозначна официальному рейтингу.
Однако следует признать, что и в самом научном сообществе нет единодушия в этих вопросах. Некоторые исследователи в некоторых дисциплинах решили принять как данность деление журналов на категории A, B и C. Другие ученые и другие дисциплины его отвергли, посчитав, что оно произвольно, и предложили попросту очертить «периметр научности», позволяющий утверждать, что вошедшие в него журналы не какие-то сомнительные конторы, а действительно серьезные академические издания. При втором подходе удается избежать ловушки официальных оценок A, B или C, ведь известно, насколько произвольны подобные рейтинги, неизменно отражающие борьбу за власть и расстановку сил. А кто те судьи, что устанавливают подобные рейтинги? И кто с готовностью использует деление на A, B и C? Весьма показательно, что все уважаемые журналы по истории и социологии науки сообща отвергли рейтинг, изначально предложенный Европейским научным фондом, и уже в 2009 году опубликовали коллективную редакционную статью по этому вопросу. Иными словами, внутри научного поля ведется борьба, и было бы наивно не принимать ее во внимание[132]. Состав комиссий, созданных для рейтингования журналов в разных областях гуманитарных и социальных наук, наводит на мысль, что в них отнюдь не всегда заседают самые признанные исследователи и механизмы формирования этих комиссий остаются неясными. Создается впечатление, что мы здесь имеем дело с феноменом, который Пьер Бурдье отважился назвать «законом Жданова». В соответствии с этим законом индивид, занимающий доминируемую позицию в том или ином поле, в большей мере склонен к участию в действиях властей, которые призваны пошатнуть позиции доминирующих[133]. Попадание в число тех, кто официально решает, что этот журнал достоин оценки A, а тот — только C, кому-то явно может вскружить голову…
Можно часто слышать мнение, будто бы от рейтингов никуда не денешься и поэтому с ними «приходится считаться». Это вовсе не так. Благодаря сопротивлению исследователей подобные неразумные инициативы иногда удается остановить. Например, в Австралии остро негативная реакция ученых на рейтинги журналов заставила правительство пойти на попятную и отказаться от использования этих рейтингов для оценки исследовательской работы[134]. Также и во Франции протест со стороны многих исследователей привел к тому, что организации, продвигавшие подобные рейтинги, были вынуждены перейти к простому списку журналов, определяющему «периметр научности»[135]. Этот пример наглядно демонстрирует, что возможно очертить совокупность журналов, считающихся научными в той или иной области, не втягиваясь в порочную игру рейтингов, которые как раз и призваны механизировать процесс принятия решений в ущерб мнению компетентных коллег. Иными словами, научный мир не должен пасовать перед требованиями, не имеющими никакого научного обоснования и подчиняющимися чуждой ему логике.
Глава IV. Оценка научных исследований
Для наших целей нет необходимости подробно останавливаться на каждом из многочисленных более или менее бессмысленных показателей, предлагавшихся за последний десяток лет[136]. Более всего удивляет в этом возрастающем многообразии показателей отсутствие четких критериев, позволяющих судить об их валидности. Поэтому для начала необходимо напомнить основы любой процедуры оценивания. А затем я предложу некоторые критерии для проверки валидности показателей.
В последние пятнадцать лет мне как научному руководителю Обсерватории наук и технологий (OST) Квебекского университета в Монреале (UQAM) доводилось сотрудничать со многими организациями в целях проведения библиометрического анализа. Как ни странно, мне часто приходилось им напоминать, что процедуре оценивания должно предшествовать определение специфических целей и задач оцениваемой институции. А ведь должно быть ясно, во-первых, что подход к оценке правительственной лаборатории и университетского исследовательского центра не может быть одним и тем же; а во-вторых, что оценивание осуществляется в свете определенных целей, которые ранее поставила себе сама институция или финансирующая ее организация. Эти цели должны быть достаточно точно определены, чтобы было возможно разработать показатели, способные измерить, насколько они были достигнуты. Если главная задача правительственной лаборатории состоит в осуществлении мер по обеспечению безопасности граждан, то понятно, что количество публикаций в ученых журналах не будет главным показателем ее успеха! В свою очередь, университетская научная лаборатория, имеющая множество контрактов с промышленными предприятиями, но мало публикующая в научных журналах, выглядит проблематично в свете традиционной миссии университета, состоящей в приросте общедоступных знаний. Иными словами, не нужно сначала выбирать показатели, а затем подгонять под них миссию организации таким образом, чтобы их максимизировать. Напротив, следует сначала установить цели и задачи, а затем попытаться найти показатели, которые действительно отражают степень их реализации.
Несмотря на неоднократные призывы к инновациям в сфере оценки (сюда относится и недавнее движение altmetrics, альтернативной метрики, которая основана на социальных сетях, но еще более проблематична, чем обычный анализ цитирования), для конструирования показателей в научной сфере имеется ограниченное число исходных данных. На входе мы имеем научно-педагогические кадры, инструменты, бюджеты и виды деятельности, производимые при помощи этих ресурсов. На выходе же получаем публикации (книги, отчеты и статьи), патенты, конференции и, конечно же, выпускников вузов и их профессиональные карьеры. Чтобы отследить импакт, применение или результаты (