Он дает насыщенное описание нормативных оснований актуальных социальных практик в разных сферах, учитывая при этом убедительные аргументы в пользу реформы или изменений. Что именно делает человека хорошим ребенком или родителем, верующим или священником, садовником или защитником окружающей среды, руководителем или работником? Этот вопрос всегда будет оставаться спорным. Однако главная идея Уолцера в том, что положение человека в одной сфере не должно неправомочным образом затрагивать его поведение в другой. Иными словами, если человек разоряется или превышает скорость на дороге, это само по себе не должно серьезным образом вредить его репутации наемного работника, проповедника или родителя, не говоря уже о репутации его родственников.
Эти идеи могут показаться абстрактными. Но если принимать их всерьез, они могут означать конец многих методов больших данных, которые изучались в этой главе. Подобный принцип осуждает как волновой эффект социального кредита, так и наем на основе больших данных, в котором используется анализ лица, походки и истории поиска в интернете для оценки заявок претендентов на тот или иной пост. Почему с человека должны брать более высокую процентную ставку, если он попросту предпочитает тот сорт пива, который чаще покупают люди, отказавшиеся платить по кредиту? В области ИИ, работающего в черном ящике, все это вполне логично: значение имеет предсказание и корреляция, а не справедливость или честность. Если, однако, рассмотреть кредит в качестве области справедливости, каковая подразумевается во всем моральном дискурсе, окружающем собой обязательство, банкротство и обещание, тогда корреляционистский импульс предстанет не слишком осмысленным. Человек заслуживает того, чтобы о нем судили по его достоинствам, причем судили общественно понятным и законным образом[444].
Почему эти сферы справедливости заслуживают уважения, если сравнивать с государственными и рыночными акторами, которые, вероятно, в техническом плане намного более развиты? Введенное Юргеном Хабермасом понятие «системной колонизации жизненного мира» подкрепляет аргумент Уолцера о разделении сфер[445]. С точки зрения Хабермаса, бюрократии государственных и рыночных акторов всегда угрожают чрезмерным распространением, «юридификацией жизненного мира», которая осуществляется за счет навязывания правил приемлемого поведения, которые излишне упрощают, искажают или откровенно подавляют далекие им идеалы[446]. Такие системы бизнеса и правления, как правило, организуют наши жизни за нашей спиной, за счет рыночного обмена или политикобюрократических решений. Сопоставимая легитимность жизненного мира гражданского общества, семьи и низовых институтов, а также иных более человекоразмерных взаимодействий является неотъемлемой составляющей чувства определенной феноменологической непосредственности, общепонятности и контроля, с которым связано в них наше поведение.
В худшем своем варианте системная колонизация жизненного мира поощряет такую инструментализацию мира и субъекта, которая принижает внутренние ценности (или даже вовсе затмевает их)[447]. «Вы не можете управлять тем, что не можете измерить», – вот мантра непритязательного неолиберального менеджериализма, принцип, согласно которому наблюдения, не являющиеся сравнимыми и вычислимыми, уступают в ценности таковым. Подобно инструментализирующему «мужскому взгляду», который критиковали феминистски, «взгляд данных» сегодня грозит непризнанием и овеществлением[448]. Будучи оторванным от всякого конкретного ощущения смысла и целесообразности, он подрывает не только нашу собственную автономию, но также целостность институтов, которые наделяют эту автономию смыслом.
Должны существовать границы воздействия корпораций и государств на человеческое поведение, сознание и души. Повсеместные сенсорные сети и ИИ подарили нам мир, в котором каждый акт может засчитываться за или против каждого потребителя и гражданина в «репутационном банке». В США «балансы» таких репутационных счетов остаются фрагментарными, они распределены по тысячам не связанных друг с другом дата-центров и часто держатся в секрете. Китайская система социального кредита обещает большую централизацию и публичность критериев оценки. Но ни тот, ни другой подход не может считаться удовлетворительным. Секретные рейтинги несправедливы по самой своей природе; человеку, так или иначе оцененному, они не дают возможности оспорить собственный рейтинг. Когда же подробные системы рейтинга становятся публичными, они грозят чрезвычайной регламентацией поведения во всех его интимных особенностях. Поэтому мы не должны ограничиваться попытками реформировать подобные системы рейтинга – необходимо ограничивать их применение, как и применение самого ИИ, судящего людей, который следует признать в некоторых ключевых отношениях неполноценным.
ИИ – не единственный способ упорядочивания общества и определения того, кто должен получать награды, а кто – наказания. Существуют и многие другие практики экспертизы, оценки, попечения и заботы. Все они представляют собой определенные паттерны человеческого поведения, которые могут исполняться хуже или лучше, с большим или меньшим умением, однако их качество лучше описывать и задавать в виде нарратива, то есть в холистическом и эмоциональном ключе, а не сводить к числам и не кодировать в виде инструкций. Следовательно, одна из задач критики «машин, судящих людей» состоит в сохранении, усовершенствовании и развитии неколичественной оценки, то есть суждения. Убедительная критика оценок ИИ зависит от той или иной позитивной концепции прежних методов суждения, которые ныне затмеваются методами ИИ[449]. Например, в академической среде рекомендательные письма, предоставляемые претендентом на постоянную должность, или сборники в честь какого-то определенного ученого представляют собой такую форму оценки, которая выступает альтернативой подсчету цитат и импакт-фактора. Статьи, в которых разъясняется карьерный путь ученого и причины, по которым он выбрал определенную тему или метод исследования, – это такая самооценка, которая должна приобрести большую популярность среди исследователей. Нам нужны более качественные, более нарративные, проводимые в середине карьерного пути оценки глубины и широты научного вклада. Подобные качественные методы оценки могут быть намного богаче квантифицированных параметров, которые сегодня все больше утверждаются в академической среде.
Короче говоря, «чтобы побить теорию, нужна другая теория», поэтому, для того чтобы противостоять соблазну проводить оценку методами ИИ, необходим альтернативный метод объяснения того, что делают профессионалы и как можно делать это лучше или хуже. Такие нарративы могут требовать определенной дисциплины и внушать страхи. Однако они хотя бы освобождают нас от той фантазии, будто ученых, врачей, медсестер, учителей и других профессионалов можно судить по некоторым соизмеримым параметрам, которые подсчитываются методами машинного обучения. Также они могут служить примерами человеческого суждения во многих других контекстах.
Производительность и власть
В своей обширной интеллектуальный истории Уилл Дэвис описывает общий сдвиг парадигмы использования знания в обществе[450]. Интеллектуалы Просвещения считали, что знание должно создать общую картину реальности – научную (то есть более точные модели мира) и социальную (то есть публичную сферу, основанную на общем понимании определенных ключевых фактов, ценностей и норм). Однако развитие экономической мысли привело к другому представлению о знании, ключевая ценность которого состоит в получении преимущества перед другими. Возможно, такое знание действительно необходимо в торговле, но оно оказало пагубное влияние на публичную сферу, образование, финансы