Другой вариант – маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность и, более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим. Если ИИ атака будет неудачной, она может стать поводом войны между странами.
Вероятность появления ИИ
Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом сильный ИИ будет создан в течение XXI века, если только никакая другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике – создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.
Затем имеется несколько временных стадий, на которых ИИ может представлять опасность. Начальный этап:
1) Момент первого запуска: риск неконтролируемого развития и распространения.
2) Момент, когда владелец первого ИИ осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. (При этом владельцем ИИ может быть и государство, и крупная корпорация, хотя в конечном счёте – один или несколько человек.) Хотя эти цели могут быть благими по крайне мере для некоторых людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.
3) Момент, когда этот владелец ИИ осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь – для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения с невыверенной системой целей.
4) Следующая фаза риска – борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.
Понятно, что весь начальный этап может уместиться в несколько дней. Этап функционирования:
5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См. текст «Таблица критический ошибок Дружественного ИИ» Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некого процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).
Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не стопроцентный, но значительный, поэтому мы относим его в категорию «10 процентных» рисков. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поскольку он может найти решения связанных с ними проблем. Поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный – то есть его создание уменьшает суммарный глобальный риск.
Другие риски, связанные с компьютерами
Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС, неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.
С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт о системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, ситуация станет гораздо опаснее. Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.
Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.
Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира. Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.
Время возникновения ИИ
Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.
Моя оценка, согласующаяся с мнением Винджа, Бострома и других предсказателей ИИ, состоит в том, что сильный универсальный ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, в период между 2020 и 2030 годами. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его основе теоретического моделирования.
Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера. С некоторой вероятностью он может возникнуть даже завтра. Помешать возникновению ИИ могут:
• Системы контроля (но в свою очередь, вряд ли будут эффективны без ИИ)
• Отскок прогресса назад
• Теоретические трудности на этом пути.
Выводы: риск, который несёт в себе развитие технологий ИИ, крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.
2.7. Риски, связанные с роботами и нанотехнологиями
Для начала приведу несколько ярких фактов с переднего края науки, поскольку иногда мы не осознаём то, насколько далеко мы продвинулись. 9-ый номер за 2007г. журнала «В мире науки» сообщает о создании молекулярного конструктора, который позволяет всего из нескольких стандартных блоков конструировать «наноскопические структуры практически любой формы» . В декабре 2007 опубликована 400-страничная «Дорожная карта развития нанотехнологий», над которой трудились десятки учёных под покровительством небезызвестного DARPA. До появления первых нанороботов (названных в ней «Atomically precise productive nanosystems» – наносистемы, позволяющие осуществлять производство с атомарной точностью) в соответствии с этой картой осталось от 10 до 25 лет .