Таблица 3.1. Результаты рандомизированного исследования, сравнивавшего антидепрессант с плацебо
Это тот случай, когда статистика очень полезна. Статистический тест вычисляет значение P, которое показывает вероятность того, что мы будем наблюдать разницу в 21 пациента или больше, если лекарство не работает. В этом случае Р = 0,04. Медицинская литература полна значениями P, и традиция такова, что если значение P меньше 0,05, то мы говорим, что разница статистически достоверна, и верим, что разница, которую мы нашли, реальна. Р=0,04 означает, что мы наблюдали бы разницу в 21 пациента и более четыре раза из ста, если лекарство не работает, и мы повторили наше испытание много раз.
Если бы на два пациента меньшего чувствовали себя лучше на активном лекарстве, то есть 119, а не 121, то разница все равно была бы почти такой же, но при этом она не была бы статистически достоверной (Р = 0,07).
Этот пример иллюстрирует то, что весьма часто «доказательство» эффективности лечения зависит всего от нескольких пациентов. Это верно даже для случая, когда, как в этом примере, в исследование были рандомизированы 400 пациентов, а это довольно крупное исследование депрессии.
Как правило, не требуется предпринимать больших усилий, чтобы превратить недостоверный результат в достоверный. Иногда исследователи или компании переосмысливают или повторно анализируют данные, после того как получают значение P выше 0,05, до тех пор, пока не придут к значению Р ниже 0,05. Это они делают путем, например, вранья о том, что еще у нескольких пациентов на активном лекарстве было улучшение или еще у нескольких пациентов на плацебо не было улучшения или за счет исключения некоторых рандомизированных пациентов из анализа5.
Это нечестный подход к науке, но, как мы увидим в главах 4 и 8, нарушения в научной практике очень широко распространены.
Помимо такого мошенничества, недостаточное «ослепление» в исследованиях может также подвести нас к представлению, что неэффективные препараты эффективны. «Ослепление» важно не только когда пациенты оценивают свое состояние, но и когда их оценивают врачи. Депрессия имеет сложную шкалу, включающую множество субъективных элементов, и совершенно очевидно, что знание того, какое лечение получает пациент, может положительно влиять на оценку врачом эффективности этого лечения.
Это было убедительно продемонстрировано Хробьяртссоном и коллегами в 2012 году с помощью серии клинических испытаний при различных заболеваниях, в которых участвовали как «ослепленные», так и «не ослепленные» подопытные. Обзор 21 такого испытания, в которых в основном использовались субъективные результаты, показал, что эффект вмешательства был преувеличен в среднем на 36% при оценке его «не ослепленными» исследователями по сравнению с «ослепленными»6. Это очень большое смещение, учитывая, что заявленный эффект большинства лечебных вмешательств гораздо ниже, чем 36%.
Таким образом, двойное слепое исследование, в котором «ослепление» недостаточно эффективно, может преувеличивать эффект весьма существенно. Можем проверить это на нашем примере с антидепрессантами, допуская для простоты, что «ослепление» нарушается у всех пациентов. Для расчета соотношения шансов мы переставим числа так, чтобы низкое значение символизировало полезный положительный эффект, что вполне соответствует принятой договоренности (смотрите таблицу 4.2). Соотношение шансов для достоверного эффекта составляет (79´100)/(121´100) = 0,65. Так как мы ожидаем, что этот эффект преувеличен на 36%, можно оценить, каков истинный эффект. Смещение в 36% означает, что отношение между смещенным и истинным результатом составляет 0,64. Таким образом, истинный результат рассчитываем так: 0,65/0,64, или 1,02. Так как соотношение шансов теперь около 1, это означает, что антидепрессант не сработал.
Таблица 3.2. Те же результаты, что в таблице 3.1, но переставленные
Этот пример был слишком упрощенным, поскольку «ослепление» редко нарушается для всех пациентов, но упражнение тем не менее отрезвляет. Даже если «ослепление» нарушается только по отношению к нескольким пациентам, этого может быть достаточно, чтобы сделать недостоверный результат достоверным. Хробьяртссон c коллегами отметили в своем обзоре, что 36-процентное преувеличение эффекта лечения, связанное с отсутствием «ослепления» оценщиков, было вызвано неправильным распределением результатов по медиане у 3% оцененных пациентов на каждое клиническое испытание (что соответствует 12 пациентам из общего числа, в данном случае – 400).
Требуется очень небольшое нарушение принципа «ослепления», чтобы превратить совершенно неэффективный препарат в якобы эффективный.
Невозможно переоценить важность этого открытия. Большинство лекарств имеют выраженные побочные эффекты, поэтому не может быть никаких сомнений, что «ослепление» нарушается у многих пациентов в большинстве плацебо-контролируемых исследований. Когда мы используем лекарства, чтобы спасти людей от смерти, нарушения «ослепления» не имеют значения, так как мы можем с уверенностью сказать, жив пациент или нет. Однако такие ситуации редки. В большинстве случаев лекарства используются для снижения симптомов или уменьшения риска осложнений при болезни, и результаты очень часто субъективны, например уровень депрессии или шизофрении, тревоги, слабоумия, боли, качества жизни, функциональных способностей (часто называемых повседневной активностью), тошноты, бессонницы, кашля и одышки. Даже решение о том, перенес ли пациент сердечный приступ, может быть довольно субъективным (смотрите главу 4, стр. 86).
Рандомизированное клиническое испытание – наиболее надежный метод оценки эффектов лечения. Но мы слишком легко верим результатам этих экспериментов, если клиническое испытание было «слепым» и основной результат сопровождается достоверной величиной значения P.
Тревожнее всего, что все лекарства приносят вред, при этом многие из них вообще неэффективны. Поэтому мы добросовестно вредим огромному числу пациентов, поскольку рандомизированные исследования не всегда дают понять, какие из лекарств не работают.
На этом фоне легко понять, почему компании, которые показали, что их лекарство действует на определенную болезнь, в дальнейшем могут тестировать его при совершенно не связанных с этим заболеваниях и находить, что оно также работает и при них. Нарушение «ослепления» является основной причиной, почему гораздо легче изобретать новые заболевания, чем новые лекарства7, 8. Легко показать определенный эффект на простой или чуть более сложной шкале, которая, в довершение всего, может иметь малое клиническое значение, а дальше пусть маркетинговая машина делает остальное.
Однажды один из членов моего гольф-клуба, старше меня по возрасту, признался, что не уверен в эффективности своих таблеток от деменции. Он хотел знать, прекратить ли их принимать, и просил моего совета. Я редко даю советы пациентам, не являясь их врачом и специалистом в конкретной области и не имея представления об их анамнезе. Однако он также сказал, что его беспокоят побочные эффекты лекарства и высокая цена. Учитывая, что эффект лекарств от деменции совсем не впечатляет, а клинические испытания, спонсированные фармой, имели весьма субъективные результаты, а также помня о многих других смещениях в подобных испытаниях, я сделал исключение из правила. Сказал, что не советую больше принимать это лекарство. Правда, он был довольно дементным и вряд ли последовал моему совету, скорее всего, он скоро забыл об этом разговоре.
Невозможность стопроцентного «ослепления» должна сделать врачей гораздо более осторожными; они должны внимательно наблюдать, думать дважды, прежде чем назначать лекарства, четко прописывать в дневниках, какой именно результат хотят получить и когда, и, конечно, не забывать отменить препарат, если эффект не достигнут.
Осознать, что совсем немногим лекарства приносят пользу, поможет ЧБНЛ (число больных, которых необходимо лечить, NNT – number needed to treat). Это величина, обратная разности рисков. Так, если мы считаем, что 60 процентам пациентов, получающих антидепрессант, и 50 процентам, получающим плацебо, станет лучше, – ЧБНЛ составит 1/(60% – 50%) = 10.
Это означает, что только одному из 10 пациентов, которых мы лечим антидепрессантом, он принесет пользу. Если принять, что любой возможный эффект плацебо настолько мал, что мы можем им пренебречь3, то более того, это означает, что для остальных девяти пациентов не имело никакого значения, получили они препарат или нет, кроме его побочных эффектов и стоимости. Даже если мы не примем результаты, которые показали, что плацебо в целом довольно неэффективны, все равно доказано, что очень немногие пациенты получают пользу от антидепрессанта. На самом деле все гораздо хуже, не только из-за отсутствия эффективного «ослепления», но и потому, что разница в 10% взята из клинических испытаний, проводимых промышленностью, которые были тщательно просчитаны и тестировали только тех пациентов, которые с наибольшей вероятностью реагировали на лекарства (смотрите главу 16, стр. 285)9. В реальной практике ЧБНЛ намного выше, чем 10.