(Уотерхаус) – разработчик технической документации, родитель и блогер. Она писала, что пристрастие к «перепродуктивности» и лайфхакингу объясняется «слишком трепетным отношением к процессу». В 2015 году она выступила на платформе TED с докладом «Лайфхакинг для всех остальных», то есть для женщин, родителей и вообще людей, которые должны о ком-то заботиться. Она рассказала, как применяет в жизни, главным образом в отношении хобби, рабочие алгоритмы и процессы, присущие программированию. Например о том, как использует гибкую методологию разработки программного обеспечения, известную как agile-методы, в вязании спицами и крючком. Но Хайди предупредила, что «если вы читаете об управлении временем больше часа в день, считайте, что все это напрасно»[128]. Эту тему даже поднимали в форме популярного среди компьютерных фанатов веб-комикса XKCD. Один из комиксов (см. рисунок 4.2 ниже) представлял собой схему, показывающую как на отрезке в пять лет время, которое человек тратит на оптимизацию процессов и тайм-менеджмент, превращается в потерянное время. Комикс так и озаглавлен: «Как долго вы сможете работать, стремясь повысить эффективность выполнения рутинной задачи, прежде чем начнете тратить на оптимизацию больше времени, чем экономите?»[129]
Рэндалл Манро, «Стоит ли оно затраченного времени?», XKCD, 2013, http://xkcd.com/1205/
Кризис воспроизводимости
Ясно, что «заточка топора» может быть способом откладывать дела на потом. Вместо того чтобы рубить дрова, мы экспериментируем с новыми методами и материалами для улучшения лезвия. Но уверены ли мы, что такой-то гаджет или метод оттачивания навыков действительно работает? Как и в случае с самопомощью в целом, нельзя сказать, что все эксперименты достаточно обоснованы, и это неудивительно. Например, можно ли реально повысить продуктивность, если реже ходить в туалет, как с сарказмом предлагал один из комментаторов под постом Ника Уинтера? Сайт Lifehacker всерьез пропагандирует этот способ, основываясь на неких сомнительных исследованиях. Подраздел этого сайта, озаглавленный «Лучшие хаки для тела, позволяющие повысить продуктивность на работе», дает следующие рекомендации: «Засуньте большой палец в рот и подуйте, чтобы уменьшить стресс», «Пожуйте жевательную резинку или палочку для кофе, чтобы повысить концентрацию внимания» и «Слушайте правым ухом, когда ведете важные разговоры». Среди прочих рекомендаций есть и такая: «Принимайте важные решения с переполненным мочевым пузырем, чтобы избежать импульсивности». Авторы поясняют: если перед переговорами вы выпьете много воды, то во время встречи вы будете подавлять желание опорожнить мочевой пузырь, что поможет вам воздержаться от необдуманных решений[130].
Цитируемый пост с сайта Lifehacker, помимо прочего, демонстрирует, что существует серьезная проблема с тем, как сейчас проводятся исследования, какие выводы из них делаются и какие рекомендации по самопомощи дают на основе этих исследований. В качестве примера вспомним недавнее псевдонаучное исследование, на основе которого сделали вывод, что употребление шоколада ускоряет процесс потери веса. В исследовании участвовали реальные испытуемые (только пятнадцать человек), применялись стандартные методы (с большой вероятностью получения ошибочно-позитивных результатов) и были получены статистически значимые результаты (правда, достигаемый эффект был мизерным). Отчет об исследовании был опубликован в престижном журнале, где в качестве рецензентов выступали видные ученые (по утверждению издателя)[131]. Объективно говоря, это было слабое исследование, не достойное какого бы то ни было внимания, но многие новостные сайты преподнесли выводы исследования как научный факт, что явно показывает, что они не позаботились о научной строгости и перед публикацией не провели журналистскую экспертизу на предмет соответствия информации реальности.
Чтобы оценить масштаб проблемы, была предпринята попытка повторить хорошо известные, ставшие классикой исследования в рамках проекта с говорящим названием «Проект воспроизводимости». В рамках проекта около трехсот ученых воспроизвели сто исследований согласно отчетам, которые до этого были опубликованы лучшими журналами по психологии. Всего тридцать пять исследований из ста дали те же результаты, что и оригинальные исследования. Существует еще один метод проверки результатов – выведение так называемого «индекса реплицируемости». В основе подхода лежит метаанализ, то есть объединение результатов нескольких исследований методами статистики, что позволяет выявить те из них, которые являются ложными. В частности, метаанализ показал несостоятельность нашумевшей теории мотивации Роя Баумейстера об истощении эго, хотя сам Баумейстер по-прежнему убежден, что его методы и выводы относительно уровня сахара в крови правильны[132].
Инициаторы проверок старых исследований считают, что ранее ученые «допускали вольности», чтобы показать статистически значимые результаты. В науке говорят о p-значении, то есть о наименьшей величине уровня значимости, ниже которой велика вероятность того, что результаты получены случайно. Типичный верхний порог значимости – 5 %. Однако p-значение можно применять только в контексте проверки одной гипотезы, а не при попытке вывести результат, имея много переменных. Например, в исследовании о влиянии шоколада на снижение веса, у пятнадцати человек делали замеры по восемнадцати параметрам: уровень белка в крови, холестерин, качество сна, вес, самочувствие и т. д. Анализ показателей по восемнадцати параметрам дает 60-процентную вероятность найти что-то, а это значительно выше уровня в 5 %. При этом исследователи могут непреднамеренно обманывать себя или преднамеренно обманывать других ученых, учитывая только те параметры, которые отвечают заранее выбранной гипотезе. Такую практику вполне обоснованно называют «взлом p-значения» или «p-хакинг».
Проблема p-хакинга усугубляется тем, что журналы публикуют отчеты только о тех исследованиях, результаты которых кажутся свежими и оригинальными. На каждое такое «открытие» типа «шоколад ускоряет потерю веса» приходится множество исследований, доказывающих обратное, но отчеты о них не публикуются. Такая предвзятость научных журналов искажает наше понимание мира и способствует появлению необоснованных советов по самопомощи.
Противостоять этой тенденции можно, если ввести практику регистрации гипотез и методов сбора данных до начала любого исследования. Это ограничит свободу исследователей при интерпретации анализа. Кроме того, следует публиковать даже отрицательные результаты, чтобы избежать предвзятости в публикациях.
Пока не введут эти новые нормы, ученые останутся в двусмысленном положении, особенно когда дают советы широкому кругу читателей. Например, авторов вышеупомянутых книг «Переосмысление позитивного мышления: изнутри новой науки о мотивации» и «Твердость характера. Сила страсти и настойчивости» критиковали за то, что они опубликовали ничем не подтвержденные «околонаучные» заявления в расчете увеличить число читателей, интересующихся вопросами саморазвития и самопомощи[133].
Бывали случаи, когда разные подходы к методологии проведения и интерпретации результатов исследования приводили к расколу даже между соавторами. Одним из самых популярных выступлений на платформе TED