[99]. Так были созданы все необходимые предпосылки к тому, чтобы цитирование стало использоваться как показатель качества.
В мае 1975 года в журнале Science была опубликована подробная статья о растущем использовании цитатного анализа для оценивания исследователей. В ней упоминалась профессор биохимии, которая оспаривала свое увольнение как несправедливое, утверждая на основании количества ссылок на ее статьи, что ее цитировали гораздо чаще, чем коллег-мужчин, которых тогда же повысили в должности[100]. На этом примере видно, что цитирование — это орудие, используемое не только руководителями институций, но и самими исследователями в тех случаях, когда им это выгодно. В связи с упрощением доступа к базам данных по цитированию, таким как Google Scholar, некоторые ученые стали указывать в резюме число ссылок на свои статьи, а также свой h-индекс, тогда как ценность этих показателей сомнительна и может привести к ошибочной оценке значимости кандидатур.
Эпидемия h-индекса
В середине 2000-х годов, когда в научных кругах стали разрабатывать библиометрические показатели для придания большей объективности индивидуальному оцениванию, американский физик Хорхе Е. Хирш из Калифорнийского университета в Сан-Диего предложил свой h-индекс (индекс Хирша).
Этот индекс равен числу статей N, опубликованных исследователем и процитированных по меньшей мере N раз каждая с момента их публикации. Например, у автора, опубликовавшего 20 статей, из которых 10 цитируются как минимум по 10 раз каждая, h-индекс равен десяти. Произвольность этого индекса просматривается уже в самом названии статьи, притом опубликованной в журнале, считающемся престижным, Proceedings Национальной Академии наук США: «Индекс для квантификации научной продукции (output) исследователя»[101]. В действительности этот индекс не измеряет ни количество (ouput), ни качество или импакт, а представляет собой некое сочетание этих двух параметров. Он произвольно комбинирует количество опубликованных статей и количество ссылок на них. Считается, что этот индекс позволяет не ограничиваться количеством статей и учитывать также их качество. В соответствии с распространенным стереотипом опубликовать огромное количество плохих статей просто; поэтому число опубликованных статей не считается надежным показателем достоинств исследователя. Но проблема в том, что было быстро доказано: h-индекс очень сильно коррелирует с общим числом опубликованных статей и, таким образом, оказывается избыточным[102].
Более того, у него нет ни одной из базовых характеристик хорошего показателя (мы еще вернемся к этому вопросу в главе IV). Людо Уолтман и Неес Ян ван Эк продемонстрировали, что при сравнении исследователей, количество ссылок на которых возрастает в равной пропорции, h-индекс может давать противоречивые результаты. Эти авторы заключают, что h-индекс «не может считаться подходящим показателем общего научного импакта исследователя»[103]. Этот небрежно сконструированный показатель даже опасен, когда служит для принятия решений о найме, поскольку его использование может приводить к непредсказуемым результатам. Это легко показать на одном простом примере. Сравним два случая: молодой исследователь опубликовал только три статьи, но каждую из них процитировали 60 раз (за фиксированный промежуток времени); второй исследователь того же возраста более плодотворен и имеет в активе 10 статей, каждая из которых процитирована 11 раз. Последний имеет, таким образом, индекс Хирша 10, тогда как первый — всего 3. Можно ли на основании этого заключить, что второй в три раза лучше, чем первый, и поэтому его нужно взять на работу или повысить в должности? Разумеется, нет…
Несмотря на эти непоправимые изъяны, h-индекс получил широкое распространение в некоторых научных дисциплинах. Создается впечатление, что он прямо для того и создан, чтобы тешить раздутое эго некоторых исследователей[104]. Росту его популярности способствовало также то, что он определяется автоматически во всех библиометрических базах данных, то есть он получается без каких-либо усилий! Тем не менее достоин сожаления тот факт, что ученые, обучавшиеся математике, теряют всякую способность к критическому мышлению перед примитивной цифрой. Судя по всему, права старая английская пословица, так похожая на этот социальный закон: «Any number beats no number». Иными словами, лучше уж плохая цифра, чем вовсе никакой…
Если верить Хиршу, его индекс способствует «более демократичной оценке научных исследований»[105]. Но судя по всему, скорее верно обратное: эта «демократия», не опирающаяся на знания об условиях валидности показателя, быстро трансформируется в оценочный популизм. В ответ на рост неконтролируемого использования библиометрии комитет Международного математического союза отмечал, что точно так же, как мы идем к врачу, когда болеем, нам следовало бы обращаться к специалисту по статистике всякий раз, когда мы производим статистические подсчеты[106]. При ознакомлении с их отчетом, где заново подчеркиваются обычные характеристики и ограничения библиометрических данных, известные уже не одно десятилетие, можно было бы добавить, что ученым, использующим библиометрию, следовало бы консультироваться со специалистами по библиометрии…[107]
О неправильном использовании импакт-фактора журналов
Самая серьезная проблема, связанная с использованием ИНЦ, касается научных журналов. Журнальная сфера превратилась в высококонкурентный рынок, поэтому для привлечения лучших статей и авторов журналы все чаще используют свой импакт-фактор в качестве инструмента саморекламы, адресованной библиотекам и авторам. С конца 1990-х годов импакт-фактор журналов рассматривается не только как показатель качества журнала, но и как мера качества публикуемых там статей, а это некорректно, как мы продемонстрируем ниже. Осознав важность этого индикатора, журналы принялись манипулировать им в целях его повышения! Чтобы понять, как некоторые из них дошли до таких крайностей, следует сначала напомнить определение импакт-фактора.
Импакт-фактор (ИФ) журнала, вычисляемый и публикуемый ежегодно с 1975 года компанией Thomson Reuters в Journal Citation Reports на основе данных Индекса научного цитирования, представляет собой просто среднее арифметическое числа ссылок, полученных всеми статьями того или иного журнала за двухлетний период. Иными словами, ИФ характеризует журналы, а не статьи[108]. Например, ИФ какого-либо журнала за 2006 год вычисляется так: число ссылок за 2006 год на статьи, опубликованные в нем в 2004–2005 годах, делится на число статей журнала за тот же период (2004–2005).
Выбор столь короткого, двухлетнего периода для вычисления ИФ не случаен. Есть тенденция противопоставлять высокие ИФ научных журналов (таких, как Science или Nature) низким ИФ журналов по социальным наукам. Однако это во многом следствие того, что социальные и естественные науки обладают различными временными горизонтами. Действительно, достаточно увеличить период для подсчета ссылок до десяти лет, чтобы ИФ журналов по общественным дисциплинам достиг значений, вполне сопоставимых с ИФ естественно-научных изданий. Например, средний двухлетний показатель цитируемости статей медицинского журнала The Lancet в 1980 году составлял 2,4, а American Sociological Review — 1,8. Однако если подсчитать значение того же показателя за десятилетний период, то результаты будут совсем иными: импакт социологического журнала (20,9) будет гораздо выше, чем медицинского (14)[109]. Так что совершенно очевидно, что ИФ журналов по разным дисциплинам несравнимы между собой и что численное значение ИФ журнала имеет смысл не само по себе, а лишь в сопоставлении с журналами из той же самой области.
Другая важная характеристика ИФ состоит в том, что при его определении в общее число ссылок на данный журнал включаются и самоцитирования журнала. Вопрос о включении самоцитирований ставился еще в начале 1970-х годов, когда создавался этот показатель, однако он стал проблематичным только в 1990-е годы. К этому времени ИФ превратился в важный фронт конкурентной борьбы между журналами и стал все чаще использоваться для характеристики самих статей. Ввиду его стратегической важности редакторы и владельцы журналов стали требовать, чтобы авторы ссылались на статьи из их же журнала. Жалобы на такое принуждение начали появляться во второй половине 1990-х, и с тех пор их поступает все больше[110].
Проблема эта отчасти техническая, ведь достаточно было бы переопределить ИФ, исключив из него самоцитирование журналов, чтобы получить показатель, который подделать было бы нелегко. Для этого потребовалось бы, чтобы журналы объединились в картель для взаимного обмена ссылками. И некоторые журналы, не останавливаясь ни перед чем, по всей видимости, так и поступают. Однако Journal Citation Reports не стал предлагать нового определения, исключающего самоцитирование: наряду с обычным ИФ журналов Thomson Reuters стал публиковать значения того же показателя, полученные после исключения самоцитирования, а также указывать удельный вес самоцитирований журналов в общем числе полученных ссылок.
Не стоит, однако, рассматривать самоцитирование исключительно в негативном ключе. На самом деле это такая же нормальная практика, как и в случае цитирования авторами собственных работ: логично, что статьи, публикуемые в одном и том же журнале, связаны между собой через предмет изучения. Возьмем, к примеру, теорию узлов в математике. Разумеется, журналов, посвященных столь узкой сфере исследований, немного. На самом деле он всего один: