На этот вопрос ответит t-распределение. При анализе зависимости между ростом и весом для нескольких выборок из 25 взрослых уже нельзя исходить из того, что разные коэффициенты регрессии, которые мы получаем, будут распределены по нормальному закону вблизи «истинного» коэффициента регрессии для взрослого населения в целом. Они по-прежнему будут распределяться вблизи «истинного» коэффициента для взрослого населения в целом, но формой этого распределения уже не будет хорошо нам знакомая колоколообразная кривая нормального распределения. Вместо этого мы должны предположить, что многие выборки, состоящие лишь из 25 взрослых, будут порождать больший разброс вблизи истинного коэффициента совокупности и, следовательно, это распределение будет с «более толстыми хвостами». А многие выборки из 10 взрослых будут порождать еще больший разброс и, соответственно, распределение с еще более толстыми хвостами. По сути, t-распределение представляет собой некую совокупность, или «семейство», функций плотности вероятности, которые варьируются в зависимости от величины выборки. В частности, чем больше данных содержится в выборке, тем больше «степеней свободы»[64] у нас имеется при определении подходящего распределения, которое служит нам эталоном для оценки результатов. Если вы решите изучать более продвинутый курс статистики, то узнаете, как именно вычисляются степени свободы; пока же можем считать, что они примерно равны количеству наблюдений в выборке. Например, регрессионный анализ с выборкой, размер которой составляет 10, и с единственной объясняющей переменной, имеет 9 степеней свободы. Чем больше степеней свободы, тем больше уверенность, что выборка представляет истинную совокупность, и тем «плотнее» будет распределение, как следует из приведенной ниже диаграммы[65].
Когда число степеней свободы увеличивается, t-распределение сходится к нормальному распределению. Именно поэтому при работе с большими совокупностями данных вы можете использовать для соответствующих вычислений нормальное распределение.
t-распределение лишь добавляет определенные нюансы в тот же процесс статистического вывода, который мы неоднократно использовали в этой книге. Мы по-прежнему формулируем нулевую гипотезу, а затем проверяем ее на наблюдаемых нами данных. Если эти данные крайне маловероятны в случае правильности нулевой гипотезы, то она отвергается. Единственное, что изменяется при использовании t-распределения, – это основные вероятности для оценивания наблюдаемых исходов. Чем «толще» хвост у конкретного распределения вероятностей (например, t-распределение для восьми степеней свободы), тем больший разброс следует ожидать в наблюдаемых данных и, следовательно, тем меньше уверенность в правильности отказа от нулевой гипотезы.
Допустим, мы решаем уравнение регрессии и, согласно нулевой гипотезе, коэффициент при какой-то конкретной переменной равняется нулю. После того как мы получим результаты вычислений, мы могли бы рассчитать t-статистику, которая представляет собой отношение наблюдаемого коэффициента к стандартной ошибке для этого коэффициента[66]. Эта t-статистика затем оценивается с точки зрения величины выборки данных, для которой подходит t-распределение (поскольку именно это в значительной мере определяет число степеней свободы). Когда t-статистика достаточно велика, то есть наблюдаемый коэффициент далек от того, что предсказывает нулевая гипотеза, мы можем отвергнуть нулевую гипотезу на некотором уровне статистической значимости. Опять-таки это тот же самый базовый процесс статистического вывода, с которым мы неоднократно сталкивались в этой книге.
Чем меньше степеней свободы (и, следовательно, чем «толще» хвосты у соответствующего t-распределения), тем больше должна быть t-статистика, чтобы мы могли отвергнуть нулевую гипотезу на некотором заданном уровне статистической значимости. Если бы в описанном выше гипотетическом примере регрессии было четыре степени свободы, то нам понадобилось бы, чтобы t-статистика была не менее 2,13: только в этом случае мы могли бы отвергнуть нулевую гипотезу на доверительном уровне 0,05 (при использовании одностороннего критерия).
Если бы у нас было 20 000 степеней свободы (что вполне позволяет использовать нормальное распределение), то для того чтобы отвергнуть нулевую гипотезу на доверительном уровне 0,05 (при использовании того же одностороннего критерия), необходимо, чтобы t-статистика равнялась всего 1,65.
Уравнение регрессии для веса
12. Типичные регрессионные ошибки
Важное предупреждение
При проведении исследований, предполагающих выполнение регрессионного анализа, вы должны помнить одну очень важную вещь: постарайтесь никого не убить. Можете даже приклеить скотчем к монитору своего компьютера листочек с надписью: «Твои исследования не должны убивать людей». Дело в том, что подчас даже самые умные люди непреднамеренно нарушают это важное правило.
Начиная с 1990-х годов в системе здравоохранения возобладала концепция, согласно которой пожилые женщины должны принимать эстрогенные добавки, чтобы защититься от сердечно-сосудистых заболеваний, остеопороза и прочих недугов, связанных с менопаузой{77}. К 2001 году эстрогенные добавки были предписаны примерно 15 миллионам женщин в надежде, что это снизит риск развития перечисленных заболеваний. На чем основывалась эта надежда? На проводившихся в то время исследованиях – с применением базовой методологии, описанной в предыдущей главе, – согласно которым прием эстрогенных добавок считался разумной медицинской стратегией. В частности, повторное исследование 122 000 женщин (так называемое Nurses’ Health Study) продемонстрировало наличие отрицательной зависимости между приемом эстрогенных добавок и сердечными приступами. Риск возникновения последних у женщин, принимающих эстроген, составлял примерно одну треть от соответствующего риска у женщин, которые его не принимали. Исследование проводилось, конечно, не парой подростков, использующих отцовский компьютер для просмотра порнофильмов и попутного решения уравнений регрессии, а Гарвардской медицинской школой и Гарвардской школой общественного здравоохранения.
Между тем, ученые и практикующие врачи выдвинули теорию, объясняющую, почему гормональные добавки могут быть полезны для здоровья женщин. В пожилом возрасте женские яичники вырабатывают меньше эстрогена, а поскольку он необходим женскому организму, то восполнение его дефицита в пожилом возрасте укрепляет здоровье женщины в долгосрочной перспективе. Отсюда и название метода: терапия путем замещения гормона. Некоторые исследователи рекомендовали эстрогенное стимулирование даже пожилым мужчинам{78}.
А затем, после того как миллионам женщин была предписана заместительная гормонотерапия, эстроген подвергли более строгой форме научного исследования – клиническим испытаниям. Вместо того чтобы искать статистические взаимосвязи (которые могут выражать (или не выражать) реальную связь причины и следствия) в большой совокупности данных наподобие той, которая использовалась в ходе исследования Nurses’ Health Study, клинические испытания предусматривают проведение управляемого эксперимента. Одна выборка получает лечение (например, в виде терапии путем замещения гормона), а другая принимает плацебо. Клинические испытания показали, что у женщин, принимающих эстроген, более высокий уровень сердечно-сосудистых заболеваний, инсультов, образования тромбов, чаще диагностируется рак груди и наблюдаются прочие неблагоприятные для здоровья исходы. Эстрогенные добавки приносят определенную пользу, однако она полностью нивелируется дополнительными рисками. Начиная с 2002 года врачам было рекомендовано не назначать эстроген пожилым пациенткам. Остается только гадать, скольких женщин постигла преждевременная смерть, у скольких случился инсульт или развился рак груди из-за приема таблеток, которые якобы должны были укрепить их здоровье.
Вполне возможно, что их количество исчисляется десятками тысяч{79}.
Регрессионный анализ – это своего рода водородная бомба в арсенале статистики. Каждый владелец персонального компьютера и большой совокупности данных может стать исследователем, не выходя из дома или не покидая стен офиса. В чем же причина проблем с регрессионным анализом? Таких причин очень много. Регрессионный анализ позволяет получить точные ответы на сложные вопросы, но они могут быть правильными или неправильными. В неумелых руках регрессионный анализ даст результаты, которые способны ввести в заблуждение или попросту оказаться неверными. И, как показывает пример с эстрогеном, даже в умелых руках этот мощный статистический инструмент может направить по ложному – и опасному! – пути. Задача настоящей главы – объяснить самые типичные «ошибки» регрессии. Слово «ошибки» я заключил в кавычки по той причине, что, как и в случае с другими видами статистического анализа, ловкие люди могут совершенно осознанно использовать их в неблаговидных целях.