с человеком, который на него ответил. «Привет, я звоню, чтобы договориться о женской стрижке для моего клиента», – сказал Duplex. В этот момент было неясно, что представляет собой голос Duplex – синтетический голос или голос реального человека. Пичаи воспроизвел записи Duplex, когда тот резервировал места в ресторане. Речь бота оказалась удивительно правдоподобной. Когда он что-то промычал в ответ на комментарий работника салона, толпа только ахнула от удовольствия. В более сложном разговоре Duplex переработал совет работника ресторана, который сказал, что в некоторые вечера резервировать места не обязательно. Это был уже не просто автоматический обзвон. Похоже, что Google овладел многими базовыми навыками коммуникации, опираясь на огромную базу данных телефонных разговоров.
Может показаться, что зарезервировать столик в ресторане – не такое уж большое достижение. Руководители проекта Duplex поспешили напомнить изумленной аудитории, что способности ИИ к разговору весьма ограниченны[344]. Тем не менее нетрудно понять, какой путь Duplex прокладывает для дальнейших исследований ИИ. Рассмотрим, к примеру, миллионы сообщений в базах данных таких групп, как Crisis Text Line, которые отправляют SMS клиентам, сталкивающимся с разными проблемами, начиная с несчастных случаев и заканчивая обычной депрессией[345]. Обучать людей отвечать таким клиентам дорого. Нельзя ли предположить, что однажды система, основанная на ИИ, будет сопоставлять жалобы, тревоги и слова отчаяния с выражениями, которые в прошлом были способны успокоить таких людей? Будет ли технология Duplex использоваться на горячих линиях для самоубийц? Да и вообще, не предрекает ли она исчезновения представителей отдела обслуживания клиентов, если любой воображаемый сценарий может запросто обслуживаться ботами, анализирующими постоянно растущую базу данных с жалобами и ответами на них?
На сегодняшний момент ответ на этот вопрос представляется скорее отрицательным. Вскоре Google затопила волна сетевого негодования. Заставлять ничего не подозревающих работников верить, что они имеют дело с человеком, – это, конечно, техническое достижение, но не моральное. Запись, сколько угодно ловкая и персонализированная, претендует на наше внимание и время, но совсем не так, как живой человек по телефону. После появления ряда гневных статей в прессе, Google неохотно признал то, что Duplex должен, когда звонит по телефону, представлять себя в качестве ИИ[346]. Компания также создала возможность для фирм отказаться от получения подобных звонков, приведя тем самым свою услугу в соответствие с обширными требованиями американской Федеральной комиссии по коммуникациям, распространяющимися на роботов – телефонных операторов. Ирония в том, что Duplex сам может потеряться в шквале спам-звонков, поскольку сотрудники ресторана стали игнорировать звонки без привязанного к ним опознаваемого имени.
Негативная реакция на Duplex оказалась столь же примечательной, что и сам продукт. В прошлом на ИИ и роботов в основном жаловались из-за их негибкости. Механические устройства вызывали раздражение, поскольку они были весьма далеки от спонтанности, креативности и уязвимости человека. В последнее время исследователи человекокомпьютерного интерфейса сформулировали теоретическую проблему робота, который «почти человек, но не совсем»[347]. Многие люди, занятые программированием эмоций, то есть попытками симулировать человеческие эмоции средствами роботов, полагают, что при наличии достаточных данных и достаточно продвинутых аудиосимуляций голосов, а также более живых лиц роботы в конечном счете смогут выбраться из «зловещей долины». Вместе с тем реакция на Duplex указывает на другую возможность. «Эксперименты Google, видимо, должны были вводить в заблуждение», – сказал оксфордский исследователь Томас Кинг, когда у него брала интервью известная в сфере технологий журналистка Наташа Ломас[348]. Травис Корте отметил, что «надо, чтобы ИИ звучал не так, как люди, – по той же причине, по которой мы добавляем пахучее вещество в природный газ, который сам по себе запаха не имеет»[349]. Комментарий Корте показывает в новом свете старое замечание, что «большие данные – это новая нефть»: вы должны знать, что имеете дело с большими данными, иначе они взорвутся вам прямо в лицо. Одно дело – разговаривать с человеком (пусть разговор и короткий), но совсем другое – становиться предметом манипуляции притворяющегося человеком ИИ, контролируемого одной из крупнейших мировых компаний.
Duplex может показаться исключением, попыткой перепоручить ИИ малозначительные беседы, которая не окажет долговременного влияния. Однако это лишь вершина айсберга посредников с ИИ, которые приобретают все больше власти над нашим коммуникативным пространством. То, что Duplex делает с отрывками разговоров, YouTube делает с видео, a Facebook – с медиа в целом: все они находят «оптимальное» соответствие, когда дан определенный паттерн слов. Мы не часто вспоминаем об ИИ, когда пролистываем страницу поисковой выдачи, – это и есть признак его коммерческого успеха. У фирм так много данных о наших привычках просмотра тех или иных сайтов, о наших цифровых путешествиях в интернете, наших электронных письмах, SMS и месторасположении, что они могут создавать крайне убедительные машины инфотейнмента, которые способны вызывать привыкание[350]. Чем меньше мы думаем о том, как на нас оказывается влияние, тем мощнее оно может стать[351].
Возвращение к журналистскому профессионализму
Пока государства только начинают осознавать угрозу, созданную автоматизированной публичной сферой. Первой подала пример Германия, где был принят закон, вменяющий платформам ответственность за фейковые новости. Недостаточность систем распознавания, построенных на ИИ, больше в этом случае не может служить извинением. В Нидерландах официальные должностные лица также получили возможность наказывать платформы, на которых распространяются высказывания, разжигающие ненависть или ложь. И все равно ведомства, регулирующие медиа, в обеих странах столкнулись с критикой со стороны прессы, которая воспринимает любые ограничения – даже платформ, которые отбирают у нее доходы, – как посягательство на независимость, добытую таким трудом. Еще хуже ситуация в США, где главный лукавец умудрился использовать выражение «фейковые новости» в качестве эпитета, обращенного против тех именно изданий, которые пытались разоблачить его мошенничества. Политики и знаменитости критиковали такие платформы, как Facebook, за те минимальные шаги, которые были предприняты ими для снижения доступности некоторых теорий заговора или высказываний, разжигающих ненависть. Такое давление означает, что законодательство, которое нацелено на совершенствование ландшафта сетевых медиа, будет приниматься с боем.
Даже если государство не может потребовать аудита и атрибуции выражений в автоматизированной публичной сфере, крупные интернет-платформы могут предпринять некоторые меры по саморегулированию (хотя бы для того, чтобы успокоить пугливых рекламодателей). Они могут нанять больше журналистов, чтобы те проверяли истории, когда последние становятся вирусными, и следили за входящей информацией, настраивая алгоритмы, необходимые для ограничения распространения высказываний, разжигающих ненависть, а также клеветнического контента. Facebook уже начал сотрудничество с некоторыми некоммерческими организациями в этой сфере, однако эта программа плохо финансируется и ее размах достаточно ограничен[352]. Добровольцы сами по себе