в главе 6). То же неизбежно произойдет и с автономным оружием.
Машины для убийства не только станут умнее, точнее, эффективнее, быстрее и дешевле — они научатся сбиваться в стаи, действовать четко и скоординированно, и это сделает их практически непобедимыми. При этом рой из 10 тысяч дронов, способный уничтожить полгорода, теоретически может обойтись замыслившему такое всего в 10 миллионов долларов.
АРГУМЕНТЫ ЗА И ПРОТИВ АВТОНОМНОГО ОРУЖИЯ
Однако у автономного оружия, разумеется, есть и положительная сторона.
Во-первых, военные действия исключительно с помощью машин сберегут множество солдатских жизней. В руках ответственных военных такое оружие может быть использовано для избирательного уничтожения реально опасных врагов без непреднамеренного убийства условных союзников (даже фактически выступающих на стороне противника), детей, гражданских лиц. (Автономные транспортные средства уровней 2 и 3 так помогают водителям избежать ошибок на дороге.) Кроме того, автономное оружие можно использовать для защиты от киллеров и вообще злодеев.
Однако приходится признать: ответственность в данном случае существенно перевешивает все возможные выгоды. Речь прежде всего об ответственности моральной — практически все этические и религиозные системы считают человеческую жизнь великой ценностью; принудительное лишение человека жизни требует обоснования и тщательной проверки.
Не зря генеральный секретарь ООН Антониу Гутерриш заявил: «Перспектива [появления] машин, обладающих способностью и властью отнимать человеческие жизни, морально неприемлема».
Далее. Автономность оружия резко снижает стоимость убийства. Да, террористы-смертники, готовые отдать жизнь за идею, дешевы, но подавляющее большинство людей преодолеть этот барьер не в состоянии. С появлением автономных киллеров ни одному человеку не придется жертвовать собой, больше жизни желая уничтожить другого.
Следующий чрезвычайно важный вопрос — четкая линия ответственности, точное понимание, кто ответствен за ошибку автономного оружия. С солдатами на поле боя все предельно ясно, а система автономного вооружения неопределенна — точно так же, как и автомобиля-беспилотника, наехавшего на пешехода.
Но тут дело усугубляется еще и тем, что это может привести к освобождению агрессоров от ответственности за нарушение международного гуманитарного права. А это делает более вероятным развязывание реальной войны.
Другая опасность состоит в том, что автономное оружие может использовать технологии распознавания лиц или походки, отслеживания сигналов телефона либо интернета вещей. А это уже позволяет уничтожить не только одного, заранее определенного человека — это делает возможным истребление любой заданной группы людей. В рассказе «Квантовый геноцид» показано, как целенаправленно уничтожается бизнес-элита и интернет-специалисты.
Расширенная автономия без глубокого понимания метапроблем еще больше увеличит темп вооруженных конфликтов и, следовательно, масштабы ущерба и потерь, в перспективе приведет к катастрофической эскалации напряженности — вплоть до ядерной войны. ИИ, как известно, не обучен здравому смыслу и не оснащен человеческой способностью логически рассуждать, охватывая разные области, — и это его сильно ограничивает.
Как бы мы ни старались, применение автономного оружия только в одной области и с единственной целью не позволит его ИИ в полной мере осознать последствия своих действий. Вот почему в нашей истории ключевые фигуры контртеррористической операции, в которой задействован ИИ, — все-таки люди, а не роботы.
АВТОНОМНОЕ ОРУЖИЕ — ПРОБЛЕМА ЖИЗНЕННАЯ?
Многие страны, начиная с англо-германской гонки вооружений на море и заканчивая советско-американской «ядерной гонкой», стремились к военному превосходству — оно определялось как важнейший национальный приоритет. И с появлением автономного оружия данная тенденция наверняка сохранится и усугубится — ведь тут открывается столько способов «победить»! (Создать самое маленькое, самое быстрое, самое скрытное, самое смертоносное, и так далее, и тому подобное — оружие.)
Стоить такая гонка вооружений наверняка будет меньше, чем предыдущие, что спровоцирует на участие в ней. Некоторые вовсе не большие страны, располагающие, однако мощными технологиями, скажем Израиль, уже ввязались в эту гонку, создали продвинутых военных роботов, в том числе размером с муху. Словом, практически нет сомнений: как только одна страна создаст автономное оружие, любая другая, более-менее амбициозная, будет ощущать себя обязанной придумать что-нибудь поэффективнее.
К чему это приведет? Стюарт Рассел, профессор Калифорнийского университета в Беркли, говорит: «Возможности автономного вооружения будут ограничены скорее законами физики — например, ограничениями по дальности, скорости и полезной нагрузке, — нежели какими-либо недостатками ИИ-систем, им управляющими. В будущем можно ожидать появления платформ, гибкость и смертоносность которых сделают людей совершенно беззащитными».
Короче говоря, если пустить все на самотек, то многосторонняя гонка вооружений в итоге станет забегом в небытие.
Ядерное оружие, безусловно, реально опасно, но у человечества получилось взять его под контроль, более того, благодаря теории сдерживания оно даже помогло ослабить риск начала обычной войны. Согласно этой теории, наличие ядерного оружия сдерживает более мощного противника — при условии если оно не окажется выведенным из строя внезапной первой атакой.
Поскольку ядерная война ведет к гарантированному взаимному уничтожению, то любую страну, нанесшую первый ядерный удар, скорее всего, ждут ответные меры. Но в случае с автономным оружием теория сдерживания не работает — первая атака может остаться незамеченной, следовательно, не содержит угрозы гарантированного взаимного уничтожения.
Наглядный пример: дроны Судного дня в нашем рассказе очень трудно выследить. Ценные подсказки, возможно, даст взлом коммуникационных протоколов такого дрона, но для этого годен только «живой» беспилотник, а не сбитый и поврежденный.
Любая атака автономного оружия, скорее всего, вызовет ответную реакцию страны — объекта нападения. Эскалация конфликта тут может быть стремительной, даже привести к ядерной войне. Причем первая атака может быть инициирована даже не государством, а, например, террористами. А это уже существенно повышает уровень опасности автономного оружия.
ВОЗМОЖНЫЕ РЕШЕНИЯ ДЛЯ ОСЛАБЛЕНИЯ УГРОЗ АВТОНОМНОГО ВООРУЖЕНИЯ
Высказано уже несколько предложений, как нам избежать этой экзистенциальной катастрофы. Одно из них — подход «человек-в-цикле» как гарантия того, что любое решение, связанное с чьей-либо смертью, имеет право принять только человек. Однако мощь автономного оружия во многом обусловлена именно скоростью и точностью, достигаемыми без нашего участия. Так что это условие вряд ли сочтет приемлемым страна, которая жаждет победить в гонке вооружений. Кроме того, обеспечить соблюдение этого условия на законодательном уровне крайне сложно, а вот обойти, напротив, легко.
Второе решение — объявление автономного оружия вне закона. Это предлагают в том числе и организаторы Кампании по борьбе с роботами-убийцами[116], и три тысячи человек, в том числе Илон Маск, ныне покойный Стивен Хокинг и множество экспертов по ИИ, подписавших письмо соответствующего содержания. Надо сказать, подобные усилия предпринимались и ранее — биологи, химики и физики выступали против биологического, химического и ядерного оружия соответственно.
Конечно, запретить автономное оружие непросто, но предыдущие законодательные акты, запретившие, например, ослепляющие лазеры и химическое и биологическое оружие, оказались вполне эффективными. Сегодня главным препятствием на этом пути является сопротивление России, США и Великобритании — эти государства считают такой запрет