63. Утомление исследователя
Энтузиазм отдельных людей движется волнами, и в силу этого человек, который, допустим, начал выпускать некий бюллетень, может, утратив энтузиазм, начать выпускать его всё реже, что с точки зрения стороннего наблюдателя будет означать снижение интенсивности событий в этой области. Тем более работа исследователя глобальных рисков неблагодарна – он никогда не увидит реализации своих пророчеств, даже если они сбудутся. И у него никогда не будет уверенности, что ему на самом деле удалось что-то предотвратить. Только в кино спаситель мира получает за свою работу благодарность всего человечества и любовь красивой актрисы. Не будем забывать, что Черчилля прокатили на выборах сразу после войны, хотя он верил, что заслужил переизбрания. Чтобы избежать эффекта «перегорания», на американском флоте во время Второй Мировой войны применяли регулярную ротацию высшего состава – одна смена воевала, а другая отдыхала на берегу. Юдковски по этому поводу пишет: мы никогда не слышали о героических превентивных мерах.
64. Страх потери социального статуса исследователями, который приводит к тому, что они не касаются некоторых тем
В нашем обществе есть ряд тем, интерес к которым воспринимается как симптом определённого рода неполноценности. Люди, интересующиеся этими вопросами, автоматически считаются (или даже выдавливаются в соответствующие «экологически ниши») второсортными, сумасшедшими, клоунами и маргиналами. И другие исследователи даже могут стремиться избегать контакта с такими людьми и чтения их исследований. Темы, которые заклеймены, это: НЛО, телепатия и прочая парапсихология, сомнение в реальности мира. Однако важно отметить, что если хотя бы одно сообщение об НЛО истинно и необъяснимо, то это требует переделки всей имеющейся картины мира, и не может не влиять на вопросы безопасности (И военные принимают эти сообщения гораздо серьёзнее, чем учёные). Более того, те исследователи, которые потеряли свой статус, проявив интерес к НЛО и т. п., утратили вместе с этим и возможность доносить свои мысли до представителей власти. Военные исследования в этой области настолько засекречены, что неизвестно, имеются ли такие исследования вообще, и соответственно, в какой мере можно доверять людям, говорящим от имени этих исследований. Иначе говоря, секретность настолько инкапсулирует некую исследовательскую организацию, что она перестаёт существовать для внешнего мира, как чёрная дыра, которая не выпускает своих лучей – особенно если даже высшее руководство страны может не знать о ней. (Характерен пример с канцлером Германии А.Меркель, которой отказывались объяснять, что за люди ходят по резиденции, пока она это категорически не потребовала – это оказались сотрудники службы безопасности.)
65. Количество внимания, которое общество может уделить рискам, конечно
Поэтому преувеличение некоторых рисков не менее опасно, чем умалчивание о других, так как съедает то количество внимания (и ресурсов), которые можно потратить на более опасные риски. Кроме того, оно создаёт ложную успокоенность у человека, которому кажется, что он сделал достаточный вклад в спасение Земли, например, заправив свой автомобиль спиртом.
66. Пренебрежение экономикой
Такие выражения, как «деньги – это только бумажки», или «банковские вклады – это только нолики в компьютерах» могут быть отражением широко распространённого мнения, что экономика не так важна, как, скажем, война или некие более зрелищные катастрофы. Однако экономика – это материальное воплощение структурности всех происходящих на Земле процессов. Для понимания роли экономики важно отметить, что кризис 1929 года нанёс США ущерб в 2 раза большей, чем Вторая мировая война, а крах СССР произошёл не в результате прямой агрессии, а результате структурно-экономического кризиса. Крестьянская община в России вымерла не от вирусов и войн, а от тракторов и массового переезда в города. Даже вымирание динозавров и другие крупные вымирания биологи связывают не с космической катастрофой, а с изменением условий конкуренции между видами.
Все риски имеют стоимостное выражение. Экономические последствия даже небольших катастроф могут иметь огромное стоимостное выражение. Теракты 11 сентября нанесли ущерб американской экономике в 100 млрд. долларов, и возможно, гораздо больше, если учесть потенциальный ущерб от политики низкой процентной ставки (пузырь на рынке недвижимости), а также триллионы долларов, потраченный на войну в Ираке. При этом цена разрушенных зданий составляла только несколько миллиардов долларов. 7 писем с сибирской язвой нанесли ущерб в 1 миллиард долларов.
Итак, даже небольшие аварии могу приводить к огромному ущербу и утрате стабильности экономики, а крах экономики сделает систему менее устойчивой и более уязвимой к ещё большим катастрофам. Это может привести к положительной обратной связи, то есть к самоусиливающемуся катастрофическому процессу.
По мере глобализации экономики, всё больше возрастает возможность всепланетного системного кризиса. Конечно, трудно поверить, что мир погибнет от того, что несколько крупных банков обанкротились, но это может именно тем, что запустит эффект домино общей неустойчивости.
67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит
Одна из версий крушения Римской империи – деградация её элит, состоящая в том, что люди, из которых рекрутировались правители всех уровней, действовали исключительно в своих личных краткосрочных интересах, иначе говоря, глупо и эгоистично (что может быть связано с тем, что они употребляли воду из водопровода со свинцовыми трубами, отрицательно влиявшую на мозг). При этом предполагается, что эффективное действие в своих долгосрочных интересах совпадает с интересами общества в целом, что, вообще говоря, не бесспорно. Другой метафорой является сравнение «морального духа», например, войска – со способностью молекул некого вещества превращаться в единый кристалл (подробно на эту тему рассуждал Лев Толстой в «Войне и мире»).
С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.
Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые внутри своей стратегии действуют долгосрочно и эффективно – или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных форм этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как низко моральный человек будет безопасен, так как будет коротать свой срок в тюрьме за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.
68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей
Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. Юдковский пишет об этом в связи с систематической ошибкой, связанной со степенью доступности информации.
69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав
А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Здесь можно вспомнить закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». Юдковски подробно пишет о важности того малого промежутка времени между моментом возникновения вопроса и тем моментом, когда человек сделал окончательный выбор в пользу одного из ответов, в течение которого, собственно, и происходит мышление. Людям психологически трудно передумать, потому что это как бы означает признать себя глупыми и способными ошибаться, и особенно трудно передумать, если позиция уже оглашена публична и стала предметом спора.
70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли
Юдковски пишет об этой проблеме, честно признавая, что не видит никакого её решения: «И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де-факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения».