будет возможность предвидеть или контролировать его цели. Даже если бы мы могли решить, какие нравственные принципы следует встроить в машины, их было бы трудно запрограммировать и защитить от переписывания сверхразумом. Умная машина сумеет обойти любые предохранители, в том числе аварийные выключатели, и будет потенциально представлять угрозу для биологической жизни.
Проблема контроля очень серьезна – возможно, даже нерешаема. В самом деле, после прочтения убедительной книги Бострома по проблеме контроля «Искусственный интеллект: Этапы. Угрозы. Стратегии»[81] ученые и лидеры бизнеса, такие как Стивен Хокинг и Билл Гейтс, во всеуслышание заявили, что сверхразумный ИИ может угрожать роду человеческому, и эта новость попала во все мировые СМИ. В настоящее время в организации, которые занимаются ИИ-безопасностью, вкладываются миллионы долларов и над проблемой работают лучшие умы в области информатики. Рассмотрим следствия, которые может иметь проблема контроля для проекта SETI.
Active SETI
Обычно в поисках жизни во Вселенной ученые вслушиваются в эфир в надежде поймать потенциальные радиосигналы внеземного разума. Но некоторые астробиологи считают, что нам следует пройти дальше. По мнению сторонников проекта Active SETI, нам нужно также использовать самые мощные радиопередатчики, такие как гигантский радиотелескоп Аресибо[82] в Пуэрто-Рико (см. фото), для отправки сообщений в направлении ближайших к Земле звезд с целью начать разговор[83].
Однако мне проект Active SETI, если принять во внимание проблему контроля, представляется опрометчивым. Хотя по-настоящему продвинутая цивилизация вряд ли заинтересуется нами, нам не следовало бы привлекать к себе внимание, поскольку встреча даже с одной враждебной цивилизацией из миллионов может оказаться катастрофической. Когда-нибудь мы, наверное, достигнем уровня, на котором сможем быть уверены, что инопланетный разум не представляет для нас угрозы, но пока для подобной уверенности нет оснований. Сторонники Active SETI утверждают, что целенаправленная передача не сделает нас более уязвимыми, чем сейчас, ведь сигналы наших радаров и радиопередач и без того обнаружимы. Но эти сигналы довольно слабы и быстро сливаются с естественным галактическим шумом. Отправка более мощных сигналов, предназначенных для того, чтобы их услышали, означала бы игру с огнем.
Самый безопасный для нас подход – это интеллектуальная скромность. В самом деле, если исключить совершенно очевидные сценарии, в которых над Землей реют инопланетные корабли, как в фильмах «Прибытие» или «День независимости», я не уверена, что мы сможем хотя бы распознать технологические маркеры по-настоящему продвинутого сверхразума. Некоторые ученые предполагают, что сверхразумных искинов следует искать поблизости от черных дыр, энергией которых они питаются[84]. Или, как вариант, сверхразум должен создавать для себя сферы Дайсона – мегасооружения, подобные изображенному на рисунке ниже, которые собирают и обуздывают энергию целой звезды.
Но все это лишь рассуждения с позиции наших нынешних технологий. Верх гордыни – утверждать, что мы в состоянии предвидеть вычислительную структуру или энергетические потребности цивилизации, обогнавшей нас в своем развитии на миллионы или даже миллиарды лет. Не буду настаивать, но я подозреваю, что мы не обнаружим инопланетные сверхразумы и не получим от них каких бы то ни было сообщений, пока наша собственная цивилизация не достигнет уровня сверхразума. Рыбак рыбака видит издалека.
Хотя многие сверхразумные цивилизации непостижимы для нас, мы с большой уверенностью можем рассуждать о природе «ранних» сверхразумов – т. е. тех, что только вылупляются из цивилизации, достигшей соответствующего уровня. Их когнитивные системы могут создаваться по образу и подобию биологического мозга – так, например, как системы глубокого обучения строятся по образу нейронных сетей мозга. Так что их вычислительная структура может оказаться понятной для нас, по крайней мере, в общих чертах. Такие создания могут даже сохранить цели, свойственные биологическим существам, вроде самовоспроизведения и выживания. Вскоре я рассмотрю вопрос раннего сверхразума более подробно[85].
Но сверхразумные искины, будучи самосовершенствующимися, способны быстро обрести неузнаваемую форму. Возможно, некоторые сверхразумы предпочтут сохранить когнитивные особенности, аналогичные тем, что имелись у биологического вида, по образу которого они создавались, и сами поставят преграду на пути развития своей когнитивной архитектуры. Кто знает? Но без такой преграды инопланетный сверхразум сможет быстро стать недоступным для нас с точки зрения способности разобраться в его поведении или хотя бы найти его.
Сторонник Active SETI скажет, что именно по этой причине нам и следует посылать сигналы в космос – чтобы дать возможность сверхразумной цивилизации найти нас и придумать способ связи, который она посчитает пригодным для использования низшим в интеллектуальном отношении биологическим видом вроде нашего. Хотя, на мой взгляд, это достаточная причина для рассмотрения проекта Active SETI, я уверена, что возможность встречи с опасным сверхразумом перевешивает все это. Насколько можно судить, злонамеренный сверхразум способен заразить планетарные ИИ-системы вирусами, и мудрые цивилизации предпочитают оставаться незамеченными; не исключено, что именно поэтому мы до сих пор никого не обнаружили. Возможно, нам, людям, необходимо достичь собственной сингулярности, прежде чем браться за Active SETI. Наши сверхразумные искины помогут нам разобраться в перспективах галактической ИИ-безопасности и посоветуют, как следует поступить, когда мы распознаем признаки сверхразума где-то во Вселенной. Опять же, нашим оперативным девизом должна стать пословица «Рыбак рыбака видит издалека».
Сверхразумное сознание
Концепция постбиологического космоса предполагает радикальный сдвиг наших обычных представлений о разумной жизни во Вселенной. Чаще всего мы ожидаем, что при встрече с продвинутым инопланетным разумом увидим существ с иными, чем у нас, биологическими чертами, однако наши интуитивные представления о разуме будут в значительной степени применимы и к ним. Но концепция постбиологического космоса предполагает иное.
В частности, в соответствии с ней, доведись нам встретить продвинутых инопланетных существ, мы обнаружим, что сознание их сродни нашему в одном важном отношении – они тоже будут внутренне ощущать себя собой. Как уже говорилось, во время бодрствования и даже во время сна мы ощущаем себя собой. Точно так же ощущает себя и биологический инопланетянин, если он существует, – по крайней мере мы предполагаем это. Но будут ли у сверхразумного искина осознанные переживания? И если они у него будут, сможем ли мы это понять? И как его внутренняя жизнь (или ее отсутствие) влияет на способность к эмпатии и цели? Представление об интеллекте без прикрас не единственное, что следует учитывать, когда думаешь о контакте с инопланетянами.
Эти аспекты мы подробно рассматривали в предыдущих главах, и теперь можно оценить их космическое значение. Я уже отмечала, что вопрос о том, может ли у искина быть внутренняя жизнь, должен стать ключом к тому, насколько мы ценим его существование, поскольку в центре