Мир после глобальной катастрофы
Как бы ни была масштабна глобальная катастрофа, вся Вселенная в ней не погибнет (если только это не распад метастабильного вакуума, но даже в этом случае останутся параллельные вселенные). Какая-нибудь разумная жизнь возникнет в ней на другой планете, и чем больше будет таких мест, тем больше шансов, что эта жизнь будет похожа на нашу. В этом смысле окончательная глобальная катастрофа невозможна. Однако если глобальная катастрофа постигнет именно Землю, то тут возможно несколько вариантов.
В соответствии с положениями синергетики, критическая точка означает, что есть несколько, конечное число, сценариев, между которыми произойдёт необратимый выбор направления движения. Как бы много ни было возможных сценариев глобальной катастрофы, количество окончательных состояний гораздо меньше. В нашем случае речь идёт о следующих вариантах:
1. Полное разрушение Земли и жизни на ней. Дальнейшая эволюция невозможна, хотя, может быть, некоторые бактерии выжили.
2. Люди вымерли, однако биосфера в целом сохранилась, и эволюция других видов животных продолжается. Как вариант – отдельные мутировавшие люди или обезьяны постепенно создают новый разумный вид.
3. Серая слизь. Уцелела некая примитивная «некросфера» (термин С.Лема из романа «Непобедимый») из нанороботов. В ней может быть своя эволюция. Вариант – уцелели самовоспроизводящиеся заводы по производству крупных роботов, но они не обладают настоящим ИИ.
4. Постапокалиптичесий мир. Технологическая цивилизация рухнула, но определённое число людей уцелело. Они занимаются собирательством и сельским хозяйством, факторы антропогенных угроз существованию исчезли. (Однако процесс глобального потепления может продолжаться за счёт запущенных ранее процессов и стать необратимым.) Из этого сценария есть возможности перехода к другим сценариям – к новой технологической цивилизации или к окончательному вымиранию.
5. Сверхмощный искусственный интеллект установил власть над миром. Люди вымерли или вытеснены на обочину истории. При этом – внимание! – с точки зрения людей это может выглядеть как мир всеобщего изобилия: каждый получит неограниченную жизнь и виртуальный мир в придачу. Однако расходы системы на развлечение людей будут минимальны, равно как и роль людей в управлении системой. Этот процесс – автономизации государства от человека и снижения роли людей в нём – уже идёт. Даже если сверхинтеллект возникнет благодаря усовершенствованию отдельных людей или их слиянию, он уже не будет человеком – во всяком случае, с точки зрения обычных людей. Его новая сложность перевесит его человеческие корни.
6. Позитивный исход – см. подробнее следующую главу. Люди создали такой сверхмощный ИИ, который управляет миром, максимально реализуя потенциал людей и человеческие ценности. Этот сценарий имеет тонкую, но существенную разницу с тем сценарием, который оставляет людям только сферу развлечений. Разница эта – как между сном о любви и настоящей любовью.
Почти каждый из этих вариантов является устойчивым аттрактором или руслом развития событий, то есть после прохождения критической точки он начинает притягивать к себе разные сценарии.
Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф
Жанр требует «хэппи энда». Если бы глобальная катастрофа была бы абсолютна неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы – это устроить «пир перед чумой». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.
Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, когда оно обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно и безопасно поставить перед ним задачу, то есть как создать Дружественный ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.
И хотя я не думаю, что именно этот план легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний – крайне желательным:
1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.
2) При этом эти знания и возможности управления не будут порождать новых рисков.
3) Эта система возникает мирно и безболезненно для всех людей.
8. Непрямые способы оценки вероятности глобальной катастрофы
Непрямые способы оценки используют не данные о самом предмете исследования, а разные косвенные источники информации, вроде аналогий, общих закономерностей и верхних пределов. Это вопрос подробно рассматривается Бостромом в статье «Угрозы существованию». Есть несколько независимых способов такой оценки.
Закон Парето
Закон Парето подробно рассмотрен Г.Г.Малинецким применительно к разнообразным катастрофам в книге «Риск. Устойчивое развитие. Синергетика». Суть его состоит в том, что частота (точнее, ранг в списке) некой катастрофы связана с её масштабом очень простым законом:
Где а – параметр, имеющий значение a = - 0,7 для случая жертв стихийных бедствий. Закон Парето носит эмпирический характер, и выглядит как прямая на логарифмическом графике с углом наклона, пропорциональном а. Типичным примером закона Парето является высказывание вроде: «С ростом магнитуды на 1 балл землетрясение происходит в 10 раз реже». (Но один балл магнитуды равен приросту энергии в 32 раза, и называется это закон повторяемости Гутенберга–Рихтера. Для больших энергий параметр сдвигается, и 1 балл прироста в районе 7-9 баллов даёт уменьшение частоты в 20 раз, то есть если землетрясения магнитудой 7-7,9 баллов происходят 18 раз в год, то 8-балльные – раз в год, а 9-бальные – раз 20 лет.) Особенностью этого закона является его универсальность для разных классов явлений, хотя значение параметра могут отличаться. Однако в случае числа жертв стихийных бедствий значение параметра в показателе степени составляет не -1, а - 0,7, что значительно утяжеляет хвост распределения.
Нас в этом распределении интересует, как часто во времени могли бы случаться катастрофы, в которых ожидаемое число жертв превосходило бы нынешнее население Земли, то есть было бы порядка 10 млрд. человек. Если мы примем закон Парето с a = - 1, то есть в десять раз более сильное событие происходит в десять раз реже, то катастрофа с 10 млрд. жертв (то есть гарантированно перекрывающая население Земли) будет происходить примерно раз 500 000 лет. Это число имеет порядок времени существования самого вида homo sapiens. C другой стороны, если взять a = - 0,7 (что означает, что в десять раз более сильное событие происходит только в 5 раз реже, а также в предположении, что природные катастрофы с числом жертв более 100 000 человек происходят раз в 10 лет), то до катастрофы масштаба всего человечества будет только примерно 30 000 лет. Это близко по порядку величины тому времени, которое прошло с момента извержения вулкана Тоба – 74000 лет – когда человечество оказалось на грани вымирания. Мы видим, что тяжесть хвоста распределения сильно зависит от величины параметра а. Однако стихийные бедствия не создают значительного риска в XXI веке при любых разумных значениях а.
Однако гораздо худший результат мы получим, если применим этот закон к войнам и террористическим актам. При этом закон Парето не учитывает экспоненциального характера развития. В реальных случаях для каждого класса событий мы имеем верхнюю границу закона применимости закона Парето, например, предполагается, что не бывает землетрясений с магнитудой больше, чем 9,5. Однако само множество разных классов событий не ограниченно.
Подробно закон степенного распределения катастроф и угрозы вымиранию человечеству рассматривается в статье Робина Хэнсена «Катастрофа, социальный коллапс и человеческое вымирание» . Он отмечает, что важным фактором является разброс живучести отдельных людей. Если этот разброс велик, то чтобы уничтожить всех людей до последнего, нужна гораздо, на несколько порядков, более сильная катастрофа, чем та, которая уничтожает только 99% людей.
Гипотеза о «Чёрной королеве»
Ван Валенном было обнаружено, на основании палеонтологических данных, что линии вымирания родов животных подчиняется экспоненциальному закону. «Такая форма линий выживания фактически означает, что вероятность вымирания среднестатистического рода остается примерно постоянной в течение его жизни» . Поскольку время жизни отдельных видов внутри рода Homo составляет порядка миллиона лет, то мы можем ожидать такую же продолжительность жизни и для людей, в той мере, в какой мы являемся обычным биологическим видом. Следовательно, гипотеза о Чёрной королеве не означает существенного риска в XXI веке.