подходов применяется так называемое соревновательное обучение, при котором в обучающие выборки специально включают состязательные примеры в надежде, что нейросеть сможет идентифицировать атаки. Однако, как и в случае дипфейков, здесь почти неизбежна постоянная гонка вооружений, в которой атакующие всегда будут на шаг впереди. Как отмечает Гудфеллоу: «Никто еще не создал по-настоящему мощный алгоритм защиты, способный противостоять разнообразным атакующим алгоритмам на основе состязательности»[303].
Хотя состязательные атаки касаются исключительно систем машинного обучения, они станут очень серьезной проблемой в списке компьютерных уязвимостей, которыми смогут воспользоваться киберпреступники, хакеры или иностранные разведывательные службы. Поскольку искусственный интеллект применяется все шире, а интернет вещей усиливает взаимосвязь устройств, машин и инфраструктуры, вопросы безопасности становятся намного более значимыми с точки зрения последствий, а кибератаки наверняка участятся. Более широкое применение ИИ неизбежно вызовет появление более автономных систем с меньшим участием людей, которые станут привлекательными целями для кибератак. Представьте, например, ситуацию, когда продукты питания, лекарства и важнейшие расходные материалы доставляются беспилотными грузовиками. Атака, которая заставит эти транспортные средства остановиться или хотя бы создаст серьезные задержки в исполнении заказов, может иметь опасные для жизни последствия.
Из вышесказанного следует, что более широкая доступность и использование искусственного интеллекта будут сопряжены с системными рисками, в том числе угрозами важнейшим инфраструктурным объектам и системам, а также общественному порядку, нашей экономике и демократическим институтам. Я бы сказал, риски для безопасности — это в краткосрочной перспективе важнейшая угроза, связанная с развитием искусственного интеллекта. Поэтому абсолютно необходимо вкладывать средства в исследования, направленные на создание надежных ИИ-систем, и формировать действенную коалицию центральных властей и коммерческого сектора с целью выработки мер регулирования и защиты еще до появления критических уязвимостей.
Автономные системы летального вооружения
Сотни миниатюрных дронов роем несутся по Капитолию. Это скоординированная атака. С помощью технологии распознавания лиц дроны идентифицируют определенных людей и летят прямо к ним словно убийцы-камикадзе с миниатюрными зарядами, которые убивают так же эффективно, как пуля. В здании конгресса царит хаос. Впоследствии выясняется, что все члены конгресса, ставшие мишенями для атаки, состояли в одной политической партии.
Это лишь один из ужасающих сценариев, показанных в короткометражном фильме 2017 года «Роботы-убийцы»[304]. По замыслу авторов, этот фильм должен служить предостережением о реальной угрозе автономных систем летального вооружения. Съемочная группа сотрудничала со Стюартом Расселом, профессором компьютерных наук из Калифорнийского университета в Беркли, который в последние годы занимается проблемой неотъемлемых рисков искусственного интеллекта. Рассел убежден, что автономные системы летального вооружения — то есть системы, которые, по определению ООН, способны «обнаруживать, выбирать и уничтожать живые цели без участия человека»[305], — необходимо признать новым типом оружия массового уничтожения. Иными словами, подобные системы вооружений на основе ИИ могут стать такими же разрушительными и вызывать такой же хаос, как химическое, биологическое и даже ядерное оружие.
Это утверждение опирается прежде всего на следующий факт: с устранением прямого контроля человека и необходимости получать разрешение на убийство масштабы разрушений, вызываемых этим оружием, можно наращивать бесконечно. Теоретически любой дрон можно использовать как оружие, и таких дронов могут быть сотни, но, если они управляются дистанционно, вам потребуются еще и сотни операторов. Если же дроны полностью автоматизированы, достаточно горстки людей, чтобы совершить массированный налет и устроить бойню немыслимых масштабов. Как сказал Рассел в нашем разговоре, «появляется возможность организовать атаку, в ходе которой пятеро парней, сидящих в центре управления, запускают 10 000 000 боевых дронов и истребляют всех мужчин от 12 до 60 лет в какой-нибудь стране. Это уже оружие массового уничтожения — оно обладает таким свойством, как масштабируемость»[306]. Поскольку алгоритмы распознавания лиц способны различать людей по этнической принадлежности, полу или одежде, легко представить ужасающие сценарии автоматизированных этнических чисток или массовых убийств политических противников, осуществляемых с немыслимыми прежде беспощадностью и скоростью.
Даже если отмахнуться от поистине антиутопических вариантов и считать, что применение этой технологии будет строго ограничено рамками законных боевых действий, автономные системы вооружений ставят принципиально важные этические вопросы. Нравственно ли давать машине возможность самостоятельно отнимать человеческую жизнь, даже если при этом повышается эффективность наведения на цель и, возможно, снижается риск сопутствующего ущерба случайным людям, оказавшимся рядом? Если отсутствует контроль со стороны человека, кто должен нести ответственность за ошибку, приведшую к ранению или гибели невиновного?
Многих исследователей искусственного интеллекта очень беспокоит, что технология, над развитием которой они работают, может быть использована в подобном оружии. Свыше 4500 человек, а также сотни компаний, организаций и университетов подписали открытые письма, где решительно отказываются заниматься автономными системами вооружений и призывают ко всеобщему запрету этой технологии. Эта инициатива осуществляется в рамках Конвенции ООН по обычным видам оружия и ставит целью объявить незаконными полностью автономные машины для убийства по аналогии с запретом химического и биологического оружия. Результаты, однако, неутешительные. По данным Campaign to Stop Killer Robots, правозащитной группы, добивающейся принятия этого запрета Организацией Объединенных Наций, к 2019 году 29 государств, по большей части небольших и развивающихся, официально призвали к полному запрещению технологии автономного оружия. Крупнейшие военные державы к ним не присоединились. Единственное исключение — Китай, подписавший это требование с оговоркой, что добивается запрета лишь реального использования такого оружия, с разрешением его разработки и производства[307]. Поскольку и Соединенные Штаты, и Россия выступили против запрещения, вряд ли подобное оружие окажется полностью вне закона в обозримом будущем[308].
Лично я смотрю на эту ситуацию с пессимизмом. Мне кажется, конкуренция и взаимное недоверие ведущих держав делают как минимум разработку полностью автономных систем вооружения практически неизбежной. Действительно, военно-промышленный комплекс США, а также таких стран, как Россия, Китай, Великобритания и Южная Корея, активно конструирует дроны, способные действовать роем[309]. Сухопутные силы США принимают на вооружение боевых роботов, напоминающих маленькие танки[310], а ВВС, по некоторым данным, работают над беспилотным истребителем, способным победить пилотируемый самолет в воздушном бою[311]. Китай, Россия, Израиль и другие страны также развертывают или разрабатывают аналогичные технологии[312].
Пока Соединенные Штаты и другие ведущие военные державы сходятся на том, что в любой системе обязательно должен присутствовать человек и на совершение машинами атаки, которая может привести к гибели человека, должно даваться специальное разрешение. Однако факт остается фактом: полная автономность на поле боя обеспечивает огромные тактические преимущества. Человек не способен реагировать и принимать решения так же быстро, как искусственный интеллект. Стоит одной стране нарушить текущее неофициальное соглашение в отношении полной автоматизации и начать использовать эти возможности, как все соперничающие военные державы незамедлительно