получить ИИ, обладающий сознанием. Оно может зависеть даже от таких непредсказуемых факторов, как прихоть какого-нибудь разработчика, такого как персонаж Энтони Хопкинса в телесериале «Мир Дикого Запада». Такая неопределенность заставляет меня занять половинчатую позицию между технооптимизмом и биологическим натурализмом. Я называю свой подход просто: «Поживем – увидим».
С одной стороны, как я уже отмечала, популярное обоснование биологического натурализма – мысленный эксперимент с китайской комнатой – не исключает машинного сознания. С другой стороны, я считаю, что технооптимизм делает из вычислительной природы мозга слишком далекоидущие выводы и преждевременно заявляет, что ИИ будет обладать сознанием. Пришло время обратиться к подходу «поживем – увидим» и объективно посмотреть, согласуется ли искусственное сознание с законами природы и если согласуется, то возможно ли оно технически, или представляет ли его создание интерес. Исходя из этого, я буду опираться в своих рассуждениях на конкретные сценарии когнитивистики и ИИ-исследований. Суть подхода «поживем – увидим» проста: я изложу несколько сценариев, иллюстрирующих доводы за и против развития машинного сознания на Земле. Мораль с обеих сторон дискуссии заключается в том, что обладающие сознанием машины, если они возможны в принципе, могут возникнуть в одних архитектурах и не возникнуть в других и могут к тому же потребовать целенаправленных технических решений, именуемых «проектированием сознания». Эти проблемы невозможно разрешить, сидя в кресле и рассуждая; нет, мы должны тестировать машины на наличие сознания. В главе 4 будут предложены пригодные для этого тесты.
Первый из сценариев касается сверхразумного ИИ. Напомню, что это гипотетический тип ИИ, способный по определению превзойти человека во всех областях. Как уже говорилось, трансгуманисты и другие технооптимисты нередко считают, что внутренняя ментальная жизнь сверхразумных искинов будет богаче, чем у людей. Однако первый сценарий заставляет усомниться в этом, поскольку предполагает, что с появлением сверхразумных искинов – или даже других типов высокосложных универсальных разумов – сознание может попросту устареть и выйти из моды.
Исчезновение потребности в сознании
Вспомните, насколько сосредоточенны и внимательны вы были за рулем, когда только научились водить машину и внимательно отслеживали каждую деталь – очертание дороги, расположение приборов, положение ноги на педали и т. п. Набравшись опыта, вы, надо полагать, научились ездить по знакомым маршрутам, почти не замечая деталей, однако вполне эффективно. Младенец, когда учится ходить, должен полностью концентрироваться на этой задаче – так и вождение поначалу требует полной сосредоточенности и лишь потом становится более рутинным занятием.
Между прочим, лишь небольшая доля наших ментальных процессов в любой отдельно взятый момент проходит на сознательном уровне. Когнитивисты скажут вам, что подавляющая часть наших мыслей представляет собой неосознанные вычисления. Как подчеркивает пример с вождением, сознание прочно связано с освоением новых задач, требующих внимания и осознанной сосредоточенности, тогда как более рутинные задачи могут выполняться без осознанных вычислений и представлять собой подсознательную обработку информации.
Разумеется, если вы по-настоящему хотите сосредоточиться на деталях вождения, то можете это сделать. Но у мозга есть сложные вычислительные функции, которые невозможно проследить осознанно, как бы вы ни старались. Например, мы не в состоянии проследить за преобразованием двумерных изображений в трехмерные.
Нам, людям, сознание необходимо для выполнения определенных задач, требующих особого внимания, но архитектура развитого ИИ, возможно, будет сильно отличаться от нашей. Не исключено, что у него не будет необходимости в осознанных вычислениях. Так, сверхразумный ИИ по определению – это система, которая обладает знаниями экспертного уровня во всех областях. Он способен использовать громадные базы данных, включающие весь интернет и охватывающие в конечном итоге всю Галактику. Что для такой системы будет новой задачей? Что потребует от нее неспешной, осознанной сосредоточенности? Разве она не владеет уже всеми навыками? Может быть, она, подобно опытному водителю на знакомой дороге, ограничится только неосознанной деятельностью. Даже самосовершенствующийся искин, который не является сверхразумом, сможет по мере оттачивания навыков все больше полагаться на рутинные методы решения задач. С развитием интеллекта системы потребность в сознании может и вовсе пропасть.
Простое рассмотрение вопроса эффективности показывает, что, как ни крути, а самые разумные системы вовсе не обязательно будут обладать сознанием. Мало того, это отрезвляющее наблюдение может оказаться верным даже далеко за пределами Земли. В главе 7 я показываю, что другие технологические цивилизации, если они существуют где-нибудь во Вселенной, возможно, уже уступили место синтетическому разуму. Может оказаться, что в космическом масштабе сознание всего лишь крохотное отклонение, мгновенный всплеск переживаний во Вселенной, предшествующий возвращению к бездумности.
Не буду утверждать, что искины, став достаточно развитыми, обязательно откажутся от сознания в пользу бессознательных архитектур. Я придерживаюсь подхода «поживем – увидим». Но сама вероятность того, что развитый интеллект может отказаться от сознания, говорит о многом. Такой исход не укладывается в рамки ни биологического натурализма, ни технооптимизма.
Следующий сценарий предлагает еще более циничную картину – в нем ИИ-компании предпочитают сэкономить на разуме.
Отказ от сознания ради удешевления системы
Представьте себе все разнообразие сложнейших задач, которые предполагается возложить на ИИ. Роботы, разрабатываемые в данный момент, должны взять на себя заботу о престарелых, стать личными помощниками, а для некоторых даже партнерами в личной жизни. Эти задачи требуют универсального разума. Представьте андроида, предназначенного для ухода за престарелыми, который не может одновременно ответить на телефонный звонок и безопасно приготовить завтрак. Он упускает из виду важный фактор: дым от подгорающего на кухне блюда. В результате – судебные иски. Или вспомните все те смешные псевдоспоры, которые люди ведут с голосовым помощником Siri. Каким бы забавным это поначалу ни казалось, Siri не может не разочаровывать. Нам ведь хотелось бы иметь дело с Самантой из фильма «Она» – искином, способным вести умные, многогранные беседы. Миллиарды долларов тратятся ради того, чтобы иметь такую возможность. Экономические силы требуют создания гибкого универсального искусственного интеллекта.
Мы уже видели, что в биологическом царстве интеллект и сознание неразрывно связаны, а значит, можно ожидать, что универсальные искины, когда они появятся, будут обладать сознанием. Но, насколько известно, свойства, необходимые искину для сложной обработки информации, вполне могут оказаться не теми, что порождают в машинах сознание. К тому же разработчиков ИИ больше заботят свойства, которые необходимы для выполнения предполагаемых задач и быстрого получения прибыли, а вовсе не для генерирования сознания. Как результат, даже если машинное сознание в принципе возможно, те искины, которые реально разрабатываются, могут оказаться непригодными к обретению сознания.
Рассмотрим аналогию. Истинный аудиофил с пренебрежением откажется от не слишком качественных записей в формате mp3, поскольку звук там откровенно хуже, чем тот, что дает полноценный CD или даже более объемный аудиофайл, который дольше грузится. Музыкальные загрузки имеют разные уровни качества. Возможно,