развитый искин удастся построить с использованием упрощенной модели нашей когнитивной архитектуры – это будет своего рода mp3-искин, – но для конструирования сознающего себя искина потребуется более высокая точность. Так что сознание может потребовать специальных инженерно-технических мероприятий –
проектирования сознания, которое не обязательно нужно для успешного создания ИИ с заданными характеристиками.
Может существовать множество самых разных причин, по которым ИИ в конечном итоге так и не получит внутренних переживаний. Например, все ваши осознанные переживания, похоже, связаны с тем или иным сенсорным содержанием – ароматом утреннего кофе, теплом летнего солнца, звуками саксофона. Именно сенсорное содержание оживляет и расцвечивает ваши осознанные переживания. Согласно последним веяниям в нейробиологии, сознание включает в себя обработку сенсорных данных в «горячей зоне» в задней части мозга[35][36]. Хотя далеко не все, что рождается в наших головах, связано с сенсорным восприятием, вполне вероятно, что определенный базовый уровень сенсорной осознанности является обязательным предварительным условием обладания сознанием, чистых интеллектуальных способностей для этого недостаточно. Если обработка в «горячей зоне» действительно ключ к сознанию, то сознанием в принципе могут обладать только существа с сенсорной искрой. Высокоинтеллектуальные, даже сверхразумные искины, возможно, просто не будут иметь сознательного наполнения из-за отсутствия «горячей зоны» в архитектуре или ее более низкого «разрешения», как у низкокачественных mp3-файлов.
Если следовать этой линии рассуждений, то сознание вовсе не является обязательным продуктом интеллекта. Насколько нам известно, компьютроний размером с галактику Млечный Путь вполне может не иметь даже намека на внутренние переживания. Сравните это с внутренним миром мурлыкающей кошки или собаки, бегающей по пляжу. Даже если задача создания искина, обладающего сознанием, принципиально разрешима, она может потребовать целенаправленных усилий. Возможно, здесь не обойтись и без гениального мастера, этакого Микеланджело разума.
Теперь рассмотрим процесс ваяния разума подробнее. Нам следует обдумать несколько инженерных сценариев.
Проектирование сознания: кошмары из сферы связи с общественностью
Я уже отмечала, что вопрос о том, есть ли у искинов внутренняя жизнь, занимает центральное место в наших представлениях о ценности их существования. Сознание – философский краеугольный камень нашей морали, поскольку это ключ к определению того, является ли что-то или кто-то индивидуальностью или личностью и заслуживает ли особого морально-нравственного отношения. Мы уже говорили, что в настоящее время создаются роботы, которые должны будут заботиться о престарелых в Японии, дезактивировать ядерные реакторы и воевать за нас. Однако использование роботов на таких работах, возможно, будет неэтичным, если окажется, что они обладают сознанием.
Сейчас, когда я пишу эту книгу, полно публикаций на тему прав роботов, то и дело проводятся научные конференции. Google-поиск по ключевым словам «права роботов» выдает более 120 000 результатов[37]. Учитывая такой интерес, можно не сомневаться, что, если кто-то попытается вывести на рынок систему, обладающую сознанием, он вполне может столкнуться с обвинениями в рабовладении и эксплуатации роботов и с требованиями запретить использование осознающих себя искинов для выполнения тех самых задач, для которых они были созданы. В самом деле, ИИ-компаниям с большой вероятностью придется принять особые этические и законодательные обязательства, стоит им создать хотя бы прототип машины, обладающей сознанием. А выключение навсегда или «ограничение» сознания, т. е. перезагрузка ИИ-системы со значительным сокращением или полным устранением сознания, возможно, будет рассматриваться как преступление. И вполне справедливо.
Такие соображения могут заставить ИИ-компании вообще воздержаться от создания самосознающих машин. Мы не хотим вступать на скользкую с этической точки зрения почву уничтожения самосознающих искинов или даже остановки их программ на неопределенное время. Полное представление о машинном сознании может помочь нам избежать подобных этических кошмаров. Разработчики ИИ могут, посовещавшись со специалистами по этике, принять целенаправленные конструкторские решения и позаботиться о том, чтобы их машины не получили сознания.
Проектирование сознания: безопасность ИИ
До сих пор мой рассказ о проектировании сознания был сосредоточен в основном на причинах, по которым разработчики ИИ могут воздержаться от создания самосознающих искинов. Но что, если подойти к проблеме с другой стороны? Существуют ли причины, по которым разработчики все же могут попытаться наделить искинов сознанием, если, конечно, это не противоречит законам природы? Возможно.
Первая причина заключается в том, что самосознающие машины могут оказаться безопаснее. Некоторые из самых мощных суперкомпьютеров в мире нейроморфны, т. е. копируют работу мозга, по крайней мере в общих чертах. По мере того как нейроморфные искины становятся все более похожими на мозг, мы, естественно, начинаем беспокоиться о том, не будут ли они обладать недостатками, характерными для людей, например эмоциональной неустойчивостью. Может ли нейроморфная система, «проснувшись», стать капризной или начать бунтовать против авторитетов, как подросток во время гормонального шторма? Некоторые специалисты по кибербезопасности тщательно изучают подобные сценарии. Ну а если в конечном итоге мы обнаружим, что происходит прямо противоположное? Что искра сознания делает ИИ-систему более склонной к эмпатии, более человечной? Ценность, которую искин увидит в нас, будет зависеть, возможно, от того, верит ли он в то, что похож на нас. Не исключено, что для осознания этого факта потребуется машинное сознание. Почему многих людей ужасает мысль о жестокости по отношению к собаке или кошке? Мы чувствуем, что они во многом подобно нам могут страдать и испытывать эмоции. Из всего известного нам на сегодняшний день следует, что самосознающий искин может оказаться более безопасным.
Второй причиной для создания самосознающего ИИ могут быть запросы потребителей. Я уже упоминала фильм «Она», в котором у Теодора сложись романтические отношения с его ИИ-помощницей Самантой. Такие отношения были бы совершенно односторонними, если бы Саманта не обладала сознанием. Их роман предполагает, что Саманта испытывает чувства. Мало кому захочется поддерживать отношения с друзьями или романтическими партнерами, которые будут проходить через события нашей жизни подобно призракам – разделять наши переживания только внешне, а на самом деле ничего не чувствовать, т. е. существовать как «зомби».
Конечно, поначалу пользователей может обмануть человекоподобная внешность или приветливость поведения ИИ-зомби. Но очень вероятно, что со временем возникнет общественное недовольство и люди захотят иметь ИИ-спутников, по-настоящему обладающих сознанием, и, таким образом, подтолкнут ИИ-компании к созданию самосознающих искинов.
Третья причина видится в том, что из искинов могут получиться более подходящие астронавты, особенно для межзвездных путешествий. В Институте перспективных исследований в Принстоне мы изучаем возможность населить Вселенную самосознающими искинами. Наши дискуссии опираются на один из недавних проектов, у истоков которого стоял мой тамошний коллега астрофизик Эдвин Тёрнер вместе со Стивеном Хокингом, Фрименом Дайсоном и Юрием Мильнером. Этот прорывной проект Starshot Initiative стоимостью $100 млн предусматривает отправку в следующие десятилетия тысяч сверхмалых кораблей (примерно таких, какой изображен на рисунке)