2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых
Медленные процессы удобнее анализировать, и по ним накоплено больше данных. Однако системы легче адаптируются к медленным изменениям и гибнут часто от быстрых. Катастрофы опаснее угасания. При этом медленное угасание делает систему уязвимой к быстрым катастрофам. Разработка новых технологий – нано, био, ИИ, когнитивные науки – относится к быстрым процессам. Их стремительное развитие затмевает любые процессы, которые будут проявлять себя после 2030 года. Однако это не значит, что надо совсем отказаться от анализа медленных вековых изменений.
3. Возрастные особенности восприятия глобальных рисков
Молодёжь склонна недооценивать глобальные риски, поскольку они в большей мере биологически нацелены на завоевание новых пространств, а не на безопасность. Более пожилые люди склонны придавать достаточно большое значение безопасности, но им труднее принять возможность принципиально новых технологий.
4. Споры не рождают истину о глобальных рисках
Дискуссии между людьми обычно приводят к поляризации мнений. Человек, который имел в начале две гипотезы, которым приписывал равные вероятности, редуцирует свою позицию до одной гипотезы, противоположной гипотезе оппонента. Таким образом, он сужает своё представление о возможном будущем. Подробнее см. статью Юдковски об оценке рисков.
5. Навык ведения споров вреден
Как я уже говорил в предисловии, Юдковски подчёркивает, что навык ведения споров вреден, так как позволяет переспорить любого оппонента, не вникая по существу в его позицию. Особенно опасно применение всего данного списка когнитивных искажений для того, чтобы обвинять в них оппонента. Это может привести к интеллектуальной слепоте.
6. Желание смерти
Фрейд высказал идею о Танатосе, стремлении к смерти, которое есть у каждого. Подобные идеи высказывались и другими учёными. Это желание может неосознанно влиять на человека, заставляя его недооценивать или переоценивать риски или стремиться к ним. Можно предположить, что любой, кто отвергает идею жить 1000 лет, испытывает определённое стремление к смерти. Это может бессознательно подталкивать человека выбрать стратегии, ведущие к глобальным рискам.
7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения
Ч.Доукинс, автор книги «Эгоистичный ген», рассматривает каждую отдельную идею, циркулирующую в обществе, в качестве репликатора, способный к разной скорости самораспространения и называет такие объекты мемам (meme). Чтобы защитится от них, человеческое сознание вынуждено вырабатывать своеобразную «иммунную систему», одним из наиболее эффективных вариантов которой является система «отбрасывай всё новое». История полна примерками того, как очевидно полезные новые идеи отвергались без видимых причин в течение длительного периода. Например, от предложения использовать закись азота для анестезии в хирургии в конце XVIII века до начала реального применения в 1840-е годы прошло почти 50 лет, то же самое касается и правила мыть руки перед операциями. Однако в наш век перемен нужно очень гибкое и свободное мышление, чтобы учесть и принять всерьёз все варианты глобальных рисков.
8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности
Есть два вида рассуждений – доказательства безопасности некой системы и доказательства опасности её. Эти рассуждения неравноценны логически – в первом случае речь идёт обо всех возможных случаях, тогда как во втором – хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера не почти не прибавляет истинности всеобщему утверждению.
Например: для того, чтобы доказать опасность некоего самолёта, достаточно указать на то, что в некоторых экспериментах материал обшивки проявил склонность к эффекту «усталости металла». Однако для того, чтобы доказать безопасность самолёта, совершенно недостаточно обнаружить некорректность в проведении этих экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.
Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности, – то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, - тогда это способствует безопасности. В проектах сложных технических систем всегда есть «технические обоснования безопасности», где описывается «максимальная проектная авария» и способы её локализации. Реальным доказательством безопасности является строгое доказательством того, что нечто не может случиться ни при каких обстоятельствах плюс – практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.
С точки зрения науки мы должны доказывать, существование объекта, а с точки зрения безопасности ¬¬– доказывать, что нечто не существует. Обязанность доказательства безопасности лежит на конструкторах самолёта, а не на пассажирах. Поэтому требование разработчиков к посторонним экспертам: «докажите, что данный риск реален» - наносит ущерб общей безопасности.
9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе.
Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт «Коммерческая биотехнология» перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, хотя потом сам же печатает на них опровержения. Или то же самое в случае с реакторами. Сторонники АЭС будут тратить свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна, – это может доходить до попыток заткнуть оппонентов.
10. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться
Наиболее серьёзные проблемы возникают внезапно. Чем серьёзнее проблема, тем больше её энергия и – возможно – быстрее темп её развития. И тем труднее к ней готовиться. Глобальные катастрофы – это мощные проблемы. Поэтому они могут развиваться слишком быстро, чтобы к ним успеть подготовиться в процессе. Кроме того, у нас нет опыта, который позволил бы определить предвестников глобальной катастрофы заранее. Например, несчастные случаи развиваются внезапно.
11. Конкретные риски воспринимаются как более опасные, чем описанные в общих словах
Например, "мятеж на ядерной подводной лодке" выглядит более устрашающе, чем "крупная морская катастрофа". Юдковски пишет: «С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной… Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной» .
12. Представления о том, что мышление о глобальных рисках – пессимистично
Это приводит к тому, что людей, думающих о «конце света», осуждают – а значит, и отрицают их идеи. Но по минному полю надо идти осознано: танцевать на нём с закрытыми глазами – это не оптимизм.
13. «Теории заговора» как препятствие для научного анализа глобальных рисков
Циркулирующие в обществе разнообразные «теории заговоров» (вроде новой хронологии Фоменко) набили оскомину. Тем более что большинство, если не все из них, ложно, а их предсказания почти никогда не сбываются. Часто «теории заговоров» тоже предсказывают некие риски. Но они структурно отличаются от научного анализа рисков. Теория заговора обычно утверждает, что человечеству угрожает только один риск, и этот риск реализуется конкретным образом в конкретный момент времени: Например, «доллар рухнет осенью 2007». Как правило, автор также знает рецепт, как с этим риском бороться. Тогда как правильнее утверждать, что человечеству угрожает каскадная реакция из нескольких рисков, и мы не знаем, когда и что случится.
Чем хуже мы прогнозируем будущее, тем оно опаснее. Главная опасность будущего – его непредсказуемость. «Теории заговора» вредны для предсказания будущего, так как сужают представление о множестве будущих возможностей. При этом они предполагают сверхуверенность в собственных прогностических способностях. Хорошее предсказание будущего не предсказывает конкретные факты, а описывает пространство возможных сценариев. И на основании этого знания можно выделить узловые точки этого пространства и защитить их.