Подобные опыты показали, что проблем с рецензированием научных статей хватает и не все якобы рецензируемое на самом деле является таковым. В последнее время проблемы пытаются решить за счет энтузиастов. Создаются сетевые сервисы, на которых любой желающий может давать оценку научным статьям, издания приглашают рецензентов-волонтеров. Количество штатных рецензентов, получающих оплату за свой труд, ограничивается бюджетом, а вот волонтеров может быть сколько угодно. Волонтерство позволяет решить сразу две проблемы научного рецензирования. Во-первых, массовое рецензирование более объективно, чем «узкое». Во-вторых, наличие большого количества рецензий увеличивает популярность работы. Можно добавить к сказанному еще одно преимущество массового рецензирования. Оно сводит к минимуму вероятность конфликта между авторами работ и рецензентами. Одно дело, если негативный отзыв дал один рецензент, и другое, если рецензентов было тридцать, пятьдесят или сто. Научный мир тесен, и многим его обитателям не хочется портить отношения с коллегами, поэтому они соглашаются заниматься рецензированием только при условии анонимности или же полной закрытости, когда рецензии не идут дальше редакции издания.
Возможно, что когда-нибудь дело дойдет до того, что любая статья будет получать оценку множества рецензентов, но пока еще движение массового рецензирования делает первые шаги. Объективности ради, надо сказать, что на научное волонтерство вряд ли стоит возлагать особые надежды. Рецензирование научных трудов – это кропотливая умственная работа, требующая опыта и знаний, а такую работу не очень-то хочется делать на общественных началах. Да и не всякую статью можно рецензировать массово, ведь квалифицированных экспертов в некоторых областях можно буквально пересчитать по пальцам. И далеко не каждый специалист может быть хорошим, объективным рецензентом, ведь хороший рецензент должен уметь абстрагироваться от своего «я» для того, чтобы представить себя на месте коллеги, работе которого предстоит дать оценку.
Рецензирование научных публикаций – очень полезный и удобный инструмент, но не идеальный. На сегодняшний день у читателей есть только один выход – слово «рецензируемый» нужно соотносить с репутацией издания, а также с тем, берет ли это издание плату с авторов за публикацию их работ. Необходимо оговорить, что сам по себе факт взимания платы с авторов статей не является порочащим фактом, потому что так могут поступать и весьма уважаемые издания с хорошей репутацией и ограниченным финансированием. Но если репутация у издания не ахти какая, да еще и деньги с авторов берутся, то это уже сигнал, наводящий на определенные размышления…
Суть сказанного можно выразить одной фразой – не всему, что публикуется под видом научных статей, можно верить. Именно поэтому адепты доказательной медицины проводят ревизию научного хозяйства, критически оценивая и то, что публикуется сейчас, и то, что было опубликовано раньше.
Напрашивается закономерный вопрос – существует ли в наше время инструмент, помогающий правильно ориентироваться в море научных публикаций и отделять «доказательное» от «недоказательного»?
Представьте себе – существует! И весьма неплохой инструмент. Это так называемые «вторичные исследования», которые представляют собой анализ уже опубликованной ранее научной информации.
Не надо путать вторичные исследования с рецензированием, это совершенно разные понятия. Вторичные исследования проводятся не столько для оценки качества научных работ, сколько для анализа и обобщения данных, полученных в разных исследованиях.
Обобщение позволяет выявлять тенденции, делать какие-то весьма значимые, масштабные выводы. Одно из определений доказательной медицины звучит следующим образом: «Доказательная медицина – это подход к медицинской практике, при котором решения о применении профилактических, диагностических и лечебных мероприятий принимаются исходя из имеющихся доказательств их эффективности и безопасности, а такие доказательства подвергаются поиску, сравнению, обобщению и широкому распространению». Вторичные исследования в первую очередь сравнивают и обобщают результаты отдельных исследований, а попутно проверяют качество этих исследовний. Законы науки объективны и вездесущи. Если результаты какого-то исследования, пускай и весьма убедительные на вид, идут вразрез с результатами ряда других исследований, то это свидетельствует об их недостоверности.
В процессе вторичных исследований анализируются не одни лишь результаты первичных исследований. Методам и прочим нюансам тоже уделяется внимание. Вы уже много прочли и понимаете, что невозможно оценивать результат без представления о том, как он был получен.
Вторичные исследования в медицине подразделяются на четыре группы:
– обзоры, систематические и несистематические, а также метаанализы[72];
– клинические рекомендации;
– экономический анализ;
– анализ принятия решений.
Обзоры являются основной разновидностью вторичных исследований. Обзор представляет собой сжатое сообщение о ряде исследований, объединенных общей темой. Обзоры могут быть систематическими и несистематическими.
Несистематические обзоры, которые также называют «литературными» или «журналистскими», обобщают результаты первичных исследований в произвольной форме.
Представьте, что вы журналист, специализирующийся на медицинской тематике, и вам поручили сделать обзор по обезболивающему препарату «Омбалдин»[73] для некоего спортивного журнала. Основной вопрос редакции журнала был сформулирован так – стоит ли принимать «Омбалдин» при болях в мышцах, вызванных интенсивными тренировками?
Вы нашли в Сети результаты трех недавних клинических исследований по «Омбалдину» и решили, что этого материала вполне достаточно для написания обзора. Вас никто не обязывает изучать все исследования по этой теме в течение пяти последних лет и вам никто не указывает, как именно, по каким правилам вы должны проводить ваш обзор, все зависит от вашего желания. Такой обзор будет журналистским. Он хорош для ненаучного или научно-популярного издания, но ни один серьезный научный журнал его никогда не опубликует, потому что он сделан не по правилам.
«По правилам» делаются систематические обзоры. В таких обзорах обобщение проводят на основе заранее определенных (стандартизированных) методов отбора исследований и проверки их результатов. Подход, основанный на методологии, делает обзор научным, позволяет исключить случайные и систематические ошибки. Кроме того, зная методы, заложенные в основу систематического обзора, можно довольно легко проверить его правильность[74].
Непонятно?
Давайте вникать.
В основе любого систематического обзора должен лежать важный, практически значимый клинический вопрос. Систематические обзоры всегда имеют практическую направленность. Очень важное значение имеет правильная формулировка основного вопроса. Вы (допустим, что вы проводите обзор) должны определить, что вас интересует. Выраженность обезболивающего эффекта «Омбалдина»? Наиболее предпочтительные комбинации «Омбалдина» с другими обезболивающими препаратами? Последствия длительного приема «Омбалдина»? Возможность приема «Омбалдина» для купирования болевого синдрома при переломах костей? И так далее…
Правильная формулировка основного вопроса помогает определить критерии, по которым будут отбираться исследования для обзора. К этим критериям относятся характеристики участников исследования, вид изучаемого и контрольного вмешательства, исходы[75], структура исследования и т. п. Если вас интересует применение «Омбалдина» для купирования болей, вызванных интенсивными тренировками, то вам явно не подойдет исследование, в котором участвовали люди в возрасте от 50 до 75 лет с послеоперационными болями, верно? А для журналистского обзора можно брать любое исследование, в котором будет упомянут «Омбалдин».
Критерии включения – палка о двух концах. Если они будут размытыми, то никакого обзора не получится, вы просто утонете в материале и не сможете провести качественный анализ. А чрезмерно строгие критерии существенно ограничивают объем анализируемой информации, что, во-первых, снижает ценность обзора, а, во-вторых, повышает вероятность случайных результатов (чем больше у вас исследований, чем больше суммарное количество участников, тем меньше случайного будет в ваших выводах).
Сколько исследований по интересующей вас проблеме нужно включить в обзор?
Максимально возможное количество исследований, соответствующих установленным критериям! «Верхней планки» здесь не существует. Чем больше исследований вы охватите, тем качественнее получится ваш обзор, тем меньше в нем будет ошибок. Поиск исследований для обзора не может ограничиваться только поиском в электронных базах данных и просмотром ведущих журналов. Нужно изучать материалы конференций, искать исследования в регистрационных списках, запрашивать (если нужно) информацию у производителей медицинского оборудования и фармацевтических компаний. Качественный обзор непременно должен охватывать так называемую «серую литературу» – доклады и тезисы различных конференций, статьи в нерецензируемых журналах и т. п. Ценность «серых» источников состоит в том, что они содержат отрицательные данные, которыми нужно дополнять положительные результаты, опубликованные в «белой» научной литературе. Если уделять внимание только положительным результатам, то обзор будет неполным, однобоким. В наши дни существует мнение (и, надо сказать, очень верное) относительного того, что отрицательные результаты исследований тоже должны публиковаться. Но большинство авторов стесняется публиковать отчеты о своих неудачах и ошибках, а большинство редакторов научных журналов не видит смысла в таких публикациях, и, надо сказать, совершенно напрасно, ведь на ошибках тоже можно и нужно учиться.