Nature. Дидье Раут известен псевдонаучными высказываниями, а в опубликованных им работах находили признаки подлога[233]. То есть он является, мягко говоря, не самым надежным источником, а тиражируемые им сообщения требуют дополнительной проверки. Попробуем ее провести — не столько из-за гидроксихлорохина (сегодня получено множество доказательств, что он бесполезен против коронавируса, а ВОЗ официально исключила его из списка веществ, которые могут рассматриваться как потенциальные лекарства от COVID-19[234]), сколько для того, чтобы получить представление о критериях, по которым можно самостоятельно оценивать исследования, особенно громкие. В эпоху COVID-19, когда все так ждут обнадеживающих новостей, это умение особенно важно.
В марте 2020 года Раут и его группа опубликовали небольшое предварительное исследование, в котором проанализировали состояние 20 больных коронавирусной инфекцией[235]. Слишком маленькая выборка для того, чтобы утверждать что-либо, но пускай это был пробный шаг. В многочисленных интервью Раут заявлял, что очевидный успех исследования доказывает: нужно срочно переходить к масштабным клиническим испытаниям гидроксихлорохина. Однако внимательный анализ статьи показывает, что в работе огромное количество методических нарушений. Их так много, что невозможно сказать, есть ли хоть какая-то разница между группами пациентов с коронавирусом, получавшими и не получавшими препарат.
Чтобы признать достоверным результат сравнения двух групп, должны соблюдаться несколько требований. Во-первых, группы должны находиться в одинаковых условиях. Скажем, если пациенты из разных групп лечатся в разных больницах, то неодинаковое качество ухода может существенно сказаться на самочувствии и выживаемости больных. Во-вторых, необходимо, чтобы состав групп был максимально однороден: они не должны отличаться по полу участников, возрасту, тяжести и продолжительности болезни, количеству дней, проведенных в больнице до начала эксперимента, и так далее. В случае коронавируса, например, мужской пол является сильным предиктором плохого прогноза, а люди, которые на третью неделю после появления симптомов все еще находятся в больнице, с куда большей вероятностью окажутся среди тех, у кого разовьется ОРДС (см. главу «Что коронавирус делает с нами» и таймлайн в ее конце).
В-третьих, ни добровольцы, ни исследователи не должны знать, кто из участников получает лекарство (то есть находится в экспериментальной группе), а кто — «пустышку» (контрольная группа). В противном случае пациенты экспериментальной группы могут слишком оптимистично трактовать изменения в своем состоянии, возможно кажущиеся, а пациенты, точно знающие, что принимают плацебо, наоборот, рассказывать об ухудшении самочувствия. То же самое относится и к врачам: зная, кто из пациентов принимает плацебо, а кто — препарат, медики могут неосознанно (или осознанно) допускать перекосы в интерпретации их состояния. Эти три условия — критерии двойного слепого рандомизированного исследования, «золотого стандарта» в медицине, который позволяет говорить, что результаты проведенного эксперимента действительно объективны{38}.
Посмотрим, соблюдаются ли описанные выше критерии в работе Раута. Всего в исследовании было 36 испытуемых — экспериментальная группа (20 человек), которой давали гидроксихлорохин, и контрольная (16 участников), которая его не получала. Продолжаем читать описание работы и выясняем, что экспериментальная группа находилась в одной больнице, а контрольная — в другой. Этот факт сразу отметает критерии «золотого стандарта» номер один и три. Но это еще не все. Ученые наблюдали за пациентами в течение 14 дней, однако какой день болезни был у каждого из добровольцев — неизвестно. То есть у одного симптомы могли проявиться вчера, а у другого — неделю назад. Снова нарушение требования номер один об одинаковых условиях: очевидно, что сравнивать успех лечения у недавно заболевших и «ветеранов» COVID-19 нельзя. Кроме того, часть пациентов в экспериментальной группе дополнительно получала антибиотик азитромицин: хотя это очень существенный фактор, авторы учитывают их наравне с чисто гидроксихлорохиновыми больными. Причем азитромицин люди начали получать в разное время, что опять же никак не учтено при итоговом подсчете.
Еще интересный момент: изначально в экспериментальной группе было 26 человек — но шестеро, как пишут авторы, «раньше закончили лечение». Почему это произошло? Как выясняется, трое из гидроксихлорохиновых пациентов оказались в реанимации, один умер, один прервал прием препарата из-за чрезвычайно сильной тошноты. Никто из этих людей не попал в итоговую статистику — другими словами, авторы решили не учитывать возможные тяжелые побочные эффекты от препарата, притом что они от гидроксихлорохина бывают часто. Нет, возможно, все эти неприятности были связаны не с ним, а с исходно очень разным состоянием больных — но это тоже нужно учесть! Хотя просто выкинуть все, что нам не нравится и портит радужную картину, очевидно, удобнее.
Шестой исключенный решил выписаться, потому что его тест на коронавирус был отрицательным — уже на следующий день после начала эксперимента. Очевидно, что за один день эффект гидроксихлорохина проявиться не мог, и просто человек с самого начала был практически здоров: его включили в эксперимент в последние дни болезни. Удобный способ оценивать эффективность препарата, набирая в экспериментальную группу выздоровевших.
Идем дальше. Средний возраст пациентов в экспериментальной группе — 51 год, в контрольной — 37 лет. Не очень похоже на то, что обычно называют однородностью, хотя и играет как бы против гидроксихлорохина. Более того, сразу возникает вопрос: а почему эти две группы такие разные? Они набраны в разных больницах, поэтому можно предположить, что дело в изначальных критериях отбора. Скажем, в первой больнице принимают только тяжелых пациентов — а это, по статистике, люди старшей возрастной группы, а во второй больше мест, поэтому кладут всех. Очевидно, прогноз для двух групп в этом случае будет очень различным. По каким причинам исследуемых набирали в разных больницах, авторы не уточняют.
Продолжаем изучать пациентов. Среди добровольцев из экспериментальной группы было два человека с подтвержденным коронавирусом, но без симптомов, среди участников контрольной группы — четыре. Если бы всего пациентов оказалось 2000, разница была бы несущественна, но в данном случае асимптоматические пациенты составили в гидроксихлорохиновой группе 10 %, а в контрольной — 25 %. Признаки болезни могут не проявляться по самым разным причинам: например, человек находится в самой ранней стадии болезни, а ПЦР-тест ему сделали потому, что он контактный. Или он уже давно подхватил вирус, но организм пока эффективно подавляет его. Или он почти выздоровел. Или он истинный асимптоматик, а это означает, что его иммунная система среагировала на SARS-CoV-2 принципиально иначе, чем у большинства. Очевидно, в зависимости от причины, по которой у пациента не проявляются признаки болезни, реакция на препарат может радикально отличаться. И чем больше доля асимптомных, тем больше может быть искажен конечный результат. По уму, всех таких больных надо убирать из общей выборки и исследовать отдельно.
Есть перекос и в гендерном составе: в экспериментальной группе девять мужчин, в контрольной — шесть. А мы помним, что для мужчин в среднем прогноз хуже. Учитывая, что контрольная группа меньше экспериментальной, выходит, что доля мужчин в ней намного скромнее (45 % против 37,5 %), что может существенно отразиться на итоге эксперимента.
Кажется, причин, по которым можно усомниться в результатах гидроксихлорохиновой работы Раута, уже достаточно — но нет. Давайте посмотрим на критерий, по которому авторы определяли, кто из пациентов выздоровел. Это ПЦР-тест образца, взятого из носоглотки. Вроде бы стандартная процедура, но в данном случае к ней есть большие вопросы. Вирус активно размножается в верхних дыхательных путях на ранних стадиях болезни. По мере развития заболевания он спускается в легкие и там, как мы знаем, может начать серьезно безобразничать. В глотке на этом этапе вирус часто уже не определяться — а значит, по критериям авторов работы, человек будет причислен к выздоровевшим. Результат, по которому определяется, успешным или нет было воздействие, медики называют конечной точкой клинического исследования, и ее выбор очевидным образом определяет, признаем ли мы эксперимент удавшимся. В статье адекватной конечной точкой была бы клиническая картина: есть ли у пациента температура, кашель, одышка, поражения легких и так далее. Но обо всем этом в работе ни слова — одно лишь уточнение, что часть людей на момент включения имели симптомы поражения верхних дыхательных путей, а часть — нижних. У кого из пациентов признаки болезни сохранялись в последний день эксперимента и насколько выраженными они были, не уточняется.
Исследование, проведенное так, не может служить основой ни для каких выводов: мы сравниваем теплое с мягким, к тому же по сомнительным критериям и не учитывая возможные нежелательные побочные эффекты. Но по мнению Раута, проблем с первым экспериментом не было, поэтому вскоре он опубликовал еще одну работу, на этот раз об использовании гидроксихлорохина у 80 пациентов[236]. В этой статье, чтобы избежать неудобных вопросов вроде тех, что мы обсудили выше, он решил вообще не публиковать никаких данных об участниках. С цифрами там тоже не все гладко, но разбирать их, учитывая, скажем так, творческий подход к выбору добровольцев и отсутствие рандомизации, большого смысла нет.
В этом месте утомленный нудным перечислением недочетов работы читатель наверняка думает что-то вроде: «И охота же докапываться до мелочей. У нас тут пандемия, нужно быстрее искать лекарство, а с деталями можно разобраться и потом». И читатель не прав. Как раз из-за скучных мелочей зачастую разваливаются даже самые многообещающие работы. Потому что именно мелочи определяют, можно ли считать выполненный эксперимент доказательством эффективности — или неэ