следует рассмотреть и общий эффект распознавания лиц, о чем не раз предупреждали исследователь права Вудро Хартцог и философ Ивэн Селинджер в своих выступлениях, требуя запрета этой технологии[383].
Футуристически настроенные консультанты полиции стремятся снабдить списками разыскиваемых лиц глобальную сеть телекамер, чтобы вылавливать преступников. Но действительно ли мы хотим, чтобы у корпораций и полиции была способность сопоставлять всякое лицо с именем, а также с алгоритмически порождаемым и часто тайным досье?[384] Вполне возможно, что на распознавание лиц надо ответить тем же рефлекторным «нет», которым были встречены очки Google Glass. Google рекламировал очки с камерами в качестве простого способа дополнения реальности, позволяющего распознавать знакомых и выводить карту незнакомого пространства. Но многие из тех, кто попались на глаза людям, носившим Google Glass, сочли очки с камерами угрозой. Возникли неудобные вопросы об этикете Google Glass в общественных туалетах. Технология не смогла закрепиться, и критики набросились на ее первых поклонников, которых прозвали glassholes (очкодурками). Даже несколько десятилетий назад человека, который везде таскал с собой видеокамеру, сочли бы параноиком или чудиком. Следует ли считать, что миниатюризации (или почти полной невидимости, если говорить о новом поколении удаленных сенсоров) достаточно, чтобы отнестись сегодня к той же технологии с большей теплотой? Нет. На самом деле ненавязчивость еще более опасна, поскольку люди даже не будут знать, что за ними наблюдают. Кроме того, биометрические тепловые отпечатки лица должны трактоваться по аналогии с отпечатками пальцев или номерами банковских счетов, то есть в качестве того, что нельзя просто так собирать или распространять[385]. Для этого требуется лицензия, а также регулярные аудиты, проводимые органами власти, чтобы предупредить злоупотребления.
В связи с расширением биометрических баз данных, которые охватывают все большее количество населения, особое значение приобретает динамика власти. В статье «Пекинскому Большому Брату нужны африканские лица», вышедшей в Foreign Affairs, Эми Хокинс отметила, что «Китай получит огромное преимущество, если благодаря тренировке систем распознавания лиц сможет… исключить из них расовые предубеждения», но в то же время «совершенствование» этой технологии подстегивает авторитаризм[386]. Если бы в Южной Африке была та технологическая инфраструктура, которая сегодня есть у Пекина в Синьцзян-Уйгурском автономном районе, где преимущественно проживают мусульмане, смогло бы там развиться движение против апартеида?[387] Сложно придумать историю, в которой такой аппарат сыграл бы на руку будущему Манделе.
К счастью, есть хорошо проработанные методы регулирования опасной (даже если иногда и полезной) технологии. Люк Старк из Microsoft Research назвал распознавание лиц «плутонием ИИ». Старк объясняет: «Плутоний применяется в специальных и строго контролируемых областях деятельности, у него настолько высокая токсичность, что его оборот управляется международными соглашениями, и по возможности его производства следует избегать»[388]. С точки зрения Старка, у распознавания лиц столько негативных следствий – например, авторитарные режимы могут, опираясь на него, отбелить свои расовые стереотипы авторитетом науки, – что оно заслуживает схожих предосторожностей и ограничений. Было бы разумно, если бы государства разрабатывали специализированные базы данные ограниченного применения, используемые исключительно для предотвращения пандемии или терроризма. Однако применять столь мощную технологию для выписывания штрафов людям, превысившим скорость, для ограничения мошенничества со льготами или ловли воришек – это все равно что стрелять из пушки по воробьям[389].
Предложение Старка особенно интересно, поскольку оно позволяет расширить логику ограничения власти машин, а именно логику ограничения насилия, с которой обычно все соглашаются. Никто не должен иметь возможность купить или оснастить беспилотный автомобиль пулеметом на крыше без определенной лицензии; это просто здравый смысл: танки нужны для войны, а не личных армий. Многие случаи применения технологии распознавания лиц влекут структурное насилие, включающее отнесение отдельных людей к тому или иному типажу, их мониторинг на рабочем месте и дома, наконец, просеивание баз данных для поиска способов манипуляции ими. Ограничение технологии распознавания лиц даст по крайней мере некоторую свободу анонимного передвижения, при котором местонахождение и идентичность человека не будут отслеживаться пристальным взором[390].
К сожалению, во многих обществах один из всадников правовой безответственности – фундаментализм свободы слова – способен покончить с разумными схемами лицензирования. Требуя всеобщего права на «научную свободу», фирмы заявляли, что у государства не должно быть права говорить им, какие данные они могут собирать или исследовать. Самая большая ирония тут в том, что корпоративное утверждение конституционных прав ведет к созданию баз данных, которые будут оказывать огромное и при этом достаточно пагубное влияние на свободу слова обычных граждан. Одно дело – идти на митинг, когда службы безопасности наблюдают за ним издалека. И совсем другое – когда полиция может сразу же определить ваши имя, адрес, место работы, используя для этого скан лица, приобретенный у какой-нибудь частной фирмы, которая ни перед кем не отчитывается.
Защитники личных прав высказывали и опасения, связанные с точностью подобных баз данных. Как показали Дана Прист и Билл Аркин в документальном сериале Top Secret America, существуют сотни организаций, имеющих доступ к огромным запасам данных о гражданах США. Со времен откровений Сноудена эта поразительная способность собирать данные об индивидах вызывает беспокойство среди исследователей, защитников гражданских свобод и практически у каждого гражданина, понимающего, насколько ошибочными могут быть решения, опирающиеся, как утверждается, на данные. Ставки высоки: люди попадают в черные списки, запрещающие им работать, голосовать, летать на самолетах, получать гражданство. Те, кто стали жертвой необоснованно, обычно не могут ни к кому обратиться, а потому в итоге увязают в бесполезных запросах, пересылаемых от одного ведомства другому. Результатом оказывается поистине кафкианское надругательство над базовыми принципами прозрачности и законного юридического процесса. Многие режимы практически никогда не дают обычным гражданам доступ к решениям, которые о них выносят правительства и фирмы, и это не говоря уже о том, чтобы такие решения оспорить. Моральный аргумент в пользу «управления средствами ИИ» рассыпается, когда нет таких базовых гарантий[391].
Судить о книге по обложке: от распознавания лиц к их анализу
Из-за анализа лиц эта и так уже неприемлемая ситуация может серьезно ухудшиться. Некоторые выдающиеся исследователи машинного обучения утверждают, что по лицу можно понять нашу сексуальную ориентацию и интеллект[392]. На основе базы данных лиц заключенных могут быть созданы стереотипические изображения криминальных черт лица[393]. Один из стартаперов заявил, что может выявлять черты педофилов и террористов и что его технология используется спецслужбами по всему миру[394].
Критики оспорили точность подобных предсказаний. Тренировочные данные, состоящие из лиц заключенных, представляют не преступность, а, скорее, преступников, которые были пойманы,