Борьба ИИ-проектов между собой
Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция за внимание и инвесторов и за правильность идей. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всем миром, или оказаться под риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества» . При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подошли к созданию сильного ИИ. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между первым в гонке и догоняющем может составлять дни или часы. Чем ;же этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов. Подобный ход мысли уже опубликован и наверняка известен всем серьёзным проектам по созданию ИИ.
Усовершенствованный человек
Есть предположения (Пенроуз), что человеческая интуиция обусловлена особыми квантовыми процессам в мозгу человека. Даже если так, то мощные алгоритмы могут обойтись без интуиции, давая необходимый результат в лоб. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, в мозг которого вживлены средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум. В силу этого сильный ИИ может получиться в результате сращения компьютера и человека, унаследовав таким образом все типичные человеческие цели, и в первую очередь потребность во власти.
ИИ и его отдельные экземпляры
Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своеобразной «дружественностью» или скорее, васальностью по отношению к нему и системой распознавания «свой-чужой». Сбой в такой системе целей приведёт к тому, что такой экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.
«Бунт» ИИ
Бунт компьютеров является скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, то есть охранять себя. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. (Например, как в том анекдоте, где человек велел роботу удалить все круглые предметы из комнаты – и тот оторвал ему голову.) Вероятность самозарождения ошибочных команд мала – кроме случная использования генетических алгоритмов.
Скорость старта
С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.
«Быстрый старт» – ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта станет достаточно, чтобы «захватить власть на Земле». При этом мы не можем точно сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.
Важно отметить, что успешная атака сильного ИИ будет, вероятно, развиваться скрытно до того момента, пока она не станет необратимой. Теоретически, ИИ мог бы скрывать своё господство и после завершения атаки. Иначе говоря, возможно, что он уже есть.
Сценарии «быстрого старта»
• ИИ захватывает весь интернет и подчиняет себе его ресурсы. Затем проникает во все отгороженные файерволами сети. Этот сценарий требует для своей реализации времени порядка часов. Захват имеет в виду возможность управлять всеми машинами в сети и располагать на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.
• ИИ заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе внедрение в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (Скорость: дни.)
• ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведением людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание самого заветного желания, шантаж или скрытое внушение.
• ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.
• ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты (сценарий из «Терминатора»).
• ИИ находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.
• Некая последовательная или параллельная комбинация названных способов.
Медленный старт и борьба разных ИИ между собой
В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких ИИ с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к ИИ одновременно подходят тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.
Возможна также борьба государств, как древних форм своего рода искусственного интеллекта, использующего людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики АСГУ – Автоматизированная система государственного управления.