Впрочем, это уже дебри, смело передвигаться по которым могут лишь профессионалы. Нам с вами важно другое. Предположим, что вы решили узнать как можно больше о недавно назначенном вам препарате и стали изучать данные клинических исследований. Это желание похвально, и его можно только приветствовать. В наше время лечебный процесс принято рассматривать как сотрудничество врача и пациента, как равноправное партнерство, в котором последнее слово все же остается за пациентом, ибо он решает, соглашаться на предложение врача или нет. А для того чтобы принимать подобные решения, нужно обладать информацией. Чем больше информации, тем лучше при условии, что она правдива. И вот вы просматриваете результаты двойного слепого контролируемого рандомизированного исследования и не можете понять, заслуживают они доверия или нет. Имейте в виду, что в правильном отчете о клиническом исследовании обязательно должна быть информация о том, насколько однородными (или, по-научному, сравнимыми) по имеющим значение параметрам получились группы, принимавшие в нем участие. Ну и вообще надо взять за правило читать не только отчеты о клинических исследованиях, но и то, что другие авторы написали об этих отчетах. Кашу, как известно, маслом не испортишь, а дополнительные сведения, полученные из надежных источников, лишними не бывают. О том, какие источники можно считать надежными, а какие – нет, мы поговорим в следующей главе.
ПОСТСКРИПТУМ. «Статистика – это прежде всего способ мышления, и для ее применения нужно лишь иметь немного здравого смысла и знать основы математики», – сказал американский экономист Кэмпбелл Макконнелл. Здравый смысл недаром был поставлен на первое место, перед основами математики. Без здравого смысла в статистике никак не обойтись.
Глава тринадцатаяЗаблуждения заканчиваются там, где начинаются доказательства
Основным источником сведений о научных исследованиях, в том числе и клинических, являются научные журналы. Монографии, то есть глубокие исследования по какому-то вопросу, изданные в виде отдельной книги, вырастают из научных статей.
На первый взгляд, вроде бы всему, что печатается в научных журналах, хочется верить. Это же не какой-нибудь таблоид, а серьезное издание для серьезных людей. Опять же в каждой статье авторы описывают путь, который привел их к таким выводам… Но давайте вспомним плодовитого японского анестезиолога-фантазера, который в течение двух десятилетий публиковал в научных журналах статьи, написанные на основании выдуманных исследований. И он не один такой, поверьте.
Человеку свойственно ошибаться, а ученые тоже люди, и ничто человеческое им не чуждо. Ученый может прийти к неверным выводам и опубликовать их. Не сразу-то и разберешься, где тут собака зарыта. Нужна профессиональная оценка со стороны. По идее такая оценка нужна всем научным работам. Как говорится, один ум хорошо, а два – лучше. Поэтому во всех серьезных научных изданиях существует практика рецензирования публикуемых статей. То, что отобрано для печати, предварительно отдается для прочтения специалистам по данному вопросу, которые оценивают научность и прочие параметры материала, а затем пишут рецензии, в которых содержится вывод о рекомендации текста к публикации или его отклонении. Рецензенты подбираются из незаинтересованных лиц, не принято давать статьи на рецензии тем ученым, которые работают в одном учреждении с кем-то из авторов или же участвуют в одних и тех же проектах. Некоторые журналы используют метод двойного слепого рецензирования…
Вы уже прочли достаточно для того, чтобы объяснить, что такое двойное слепое рецензирование. «Слепое» подразумевает, что одна сторона не имеет сведений о другой. «Двойное» свидетельствует об обоюдности. При двойном слепом рецензировании статья перед отправкой рецензенту редактируется таким образом, чтобы нельзя было понять, кто именно ее написал. И точно так же редактируется рецензия. Анонимность служит дополнительной гарантией беспристрастности и предотвращает конфликты в случае наличия критических замечаний. Ученый мир тесен, здесь все друг с другом знакомы, хотя бы и шапочно, так что подобная мера лишней не будет.
В информации о любом научном издании принято указывать, рецензируемое оно или нет. Если научный журнал нерецензируемый, то это означает, что все опубликованные в нем статьи не проверялись на научность. Такие издания можно спокойно игнорировать, они несерьезные, и тому, что в них публикуется, верить не стоит.
Если вам нужна достоверная научная информация, то ищите ее в рецензируемых изданиях! Только так и никак иначе. Однако присутствие слова «рецензируемый» в описании журнала еще не является гарантией качества. Рецензирование – довольно закрытый процесс, сведения о нем не выносятся на всеобщее обозрение. Максимум, что делают некоторые издания, так это публикуют время от времени списки своих рецензентов. Но читатель не может знать, проходила вот эта конкретная статья через руки рецензента или нет. Можно же просто указать для солидности, что журнал рецензируемый, но не утруждаться этим на самом деле. Разумеется, серьезные и уважаемые научные издания на такое мошенничество не пойдут, но человеку, далекому от науки, который ищет в сети сведения о клинических исследованиях определенного препарата, трудно понять, какое издание заслуживает доверия, а какое нет.
Рецензент может написать рецензию, не читая статьи или не вникая в ее суть… Формальное рецензирование «для галочки» встречается не так уж и редко. И поскольку вся эта деятельность является «закулисной», скрытой от посторонних глаз, потому читателю невозможно понять – проводится ли рецензирование статей в данном издании и, если проводится, то насколько добросовестно.
В 2005 году в Массачусетском технологическом институте (США) была создана «развлекательная» компьютерная программа SCIgen, генерирующая случайные тексты, напоминающие научные статьи. Фейковые статьи создавались со всеми положенными атрибутами – иллюстрациями, диаграммами, графиками, цитатами и примечаниями. Продукция SCIgen была качественной, на первый взгляд она не выглядела полной белибердой, отдельные фразы имели какой-то смысл. «Научная статья» под названием «Rooter: A Methodology for the Typical Unification of Access Points and Redundancy» была опубликована в материалах Мировой мультиконференции по системам, кибернетике и информатике (World Multiconference on Systemics, Cybernetics and Informatics, сокращенно WMSCI), а ее авторов пригласили выступить с докладом. Раскрытие мистификации нанесло сильный удар по престижу WMSCI и лишило эту организацию субсидий.
В России аналогичный опыт был проделан в 2008 году. Коллектив газеты «Троицкий вариант» во главе с известным отечественным биоинформатиком Михаилом Гельфандом перевел упомянутую выше статью на русский язык, подверг доработке и от имени несуществующего аспиранта Михаила Жукова из несуществующего Института информационных проблем РАН отправил для публикации в «Журнал научных публикаций аспирантов и докторантов». Это издание брало с авторов плату за публикацию в размере 4500 рублей за статью. Надо сказать, что такой факт уже сам по себе является настораживающим в отношении качества публикаций[69]. Статья под названием «Корчеватель: Алгоритм типичной унификации точек доступа и избыточности» получила положительный отзыв рецензента и была опубликована в журнале. Публикация, получившая широкую огласку, привела к тому, что «Журнал научных публикаций аспирантов и докторантов» был исключен из Перечня рецензируемых научных изданий, рекомендованных Высшей аттестационной комиссией Российской Федерации для опубликования основных научных результатов диссертации на соискание ученой степени кандидата и доктора наук.
Гельфанд благородно расставил в статье множество «маячков», свидетельствующих о ее абсурдности. Так, например, отношение сигнал/шум[70], измерялось в нанометрах, время – в цилиндрах (!), а латентность – в градусах Цельсия. Кроме этого в статье содержалась благодарность «профессору М. С. Гельфанду, привлекшему мое внимание к проблеме публикации случайных текстов». В приложенном к статье списке литературы присутствовали авторы по фамилии Gayson (что в переводе с английского означает «сын гея») и Softporn («мягкое порно»). Но не один «маячок» не был замечен ни редакцией журнала, ни рецензентом. Делайте выводы…
Надо сказать, что подобные мистификации, демонстрирующие низкое качество, а то и отсутствие рецензирования научных статей в отдельных изданиях, имели место и до появления программы SCIgen. Так, например, профессор физики Алан Сокал из Нью-Йоркского университета в конце 1994 года опубликовал в американском научном журнале «Social Text» пародийно-сатирическую статью под названием «Преступая границы: К вопросу о трансформативной герменевтике квантовой гравитации» («Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity»).
Совсем недавно американские ученые Питер Богоссян, Джеймс Линдси и Хелен Плакроуз написали статью «Наша борьба – моя борьба», якобы посвященную тематике феминизма. Статья была принята к публикации американским рецензируемым научным журналом «Аффилиа» (Affilia: Journal of Women and Social Work). Пикантность ситуации заключалась в том, что «Наша борьба – моя борьба» представляла собой слегка отредактированную первую главу книги Адольфа Гитлера «Майн кампф». Факт принятия к публикации такой статьи явственно свидетельствовал о том, что ее никто не читал, в том числе и рецензент – посмотрели на название и решили, что подходит. А статья тех же авторов «Человеческие реакции на культуру изнасилования и квир-проявления[71] на городских собачьих площадках в Портленде, штат Орегон» не только была принята к публикации научным журналом «Пол, место и культура» («Gender, Place & Culture: A Journal of Feminist Geography») но и вошла в число лучших работ по феминистской географии в номинации этого издания. Тут, скорее всего, никто не вчитывался даже в название. «Человеческие реакции на культуру изнасилования» – это уже нечто абсурдное, а в сочетании с городскими собачьими площадками в Портленде – так вообще бредовое.