«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.
26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности»
Неверно. Проверить эффективность ИИ можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно. Некоторые типы ИИ могут быть несовместимы с нормативной безопасностью, например, основанные на генетических алгоритмах. Поэтому меры по обеспечению безопасности следует встраивать в ИИ с самого начала, они не могут быть довеском на нём.
27. Ошибочное представление в духе: «Маловероятно, что наш проект по ИИ выйдет из-под контроля»
В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ. Достаточно потерять контроль над одним проектом. Кроме того, в случае, когда программист использует сильный ИИ в своих целях, с его точки зрения это не выглядит бунтом, но с точки зрения других людей – является им.
28. Ошибочное представление в духе: «Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы»
Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать.
29. Нетождественность способностей и намерений
См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть его в том, что если ИИ может что-то делать, это не значит, что он будет это делать. Ели Ии может печь гигантские автрушки, это не значит, что будущий мир будет заполнен гигантскими ватрушками. То есть мы не должны отождествлять мотивы и способности.
6. Спецефические ошибки, связанные рассуждениями о рисках нанотехнологий
1. Ошибочное представление о том, что нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома
Это не так, поскольку существуют белки, которые являются самыми разными механизмами, и в них важно и определено местоположением каждого атома.
2. Ошибочное представление о том, что нанофабрики безопаснее наноассемблеров
Нанофабрики – это макроскопические устройства, производящие устройства наноразмеров (например, фотолитографическое производство микросхем). Наноассемблеры – это устройства наноразмеров, способное производить свои копии. С помощью одного можно сделать другое и наоборот, то есть эти устройства функционально изоморфны.
3. Ошибочное представление о том, что нанотехнологии настолько далеки от нас во времени, что о них можно не думать
От нанотехнологий нас отделяет только недостающее знание. Если бы мы его имели, мы могли бы собрать такую цепочку ДНК, которая, будучи запущена в клетке бактерии, позволила бы произвести дистанционно управляемый наноассемблер.
4. Ошибочное представления в духе «Нанотехнологии придумали только для отмывания денег»
Поскольку такое объяснение можно применить к чему угодно, то оно ничего не объясняет. Даже если кто-то отмывает деньги с помощью нанотехнологий, это не значит, что нанороботы невозможны. Крах дот-комов не означает, что нельзя зарабатывать деньги в Интернете.
5. Ошибочное представление о том, что нанотехнологии связаны только с мелкодисперсными материалами.
Далеко не все так думают, и ведутся разработки в области нанороботов. Промежуточным объектом между нанороботами и наноматериалами является литография чипов, которая позволяет вытравливать любые механизмы из кремния, в том числе и с подвижными частями – технология MEMS (например, микромаятники для гироскопов). Основной прогресс закона Мура идёт именно за счёт развития нанотехнологий всё более прецизионной печати полупроводников.
6. Ошибочное представление о том, что нанороботы будут слабее бактерий, потому что у бактерий были миллиарды лет, чтобы приспособиться к окружающей среде
Это не более верно, чем утверждение, что «Самолёты будут безопаснее птиц, потому что птицы развивались в течение миллионов лет».
7. Ошибочное представление о том, что если бы нанороботы были возможны, их бы уже создала природа
Природа не создала колеса, но оно возможно и эффективно. С другой стороны природа создала аналог нанороботов в виде бактерий, которые показывают принципиальную возможность самодостаточных саморазмножающихся микроскопических устройств.
8. Ошибочное представление о том, что нанороботы не смогут размножаться в природной среде
Если бактерии могут, то могут и нанороботы – ведь они могут использовать все приёмы, доступные бактериям.
9. Ошибочное представление о том, что нанороботов в природной среде будет легко уничтожить взрывом бомбы
Для этого нужно точно знать, где они находятся. Если они уже проникли в город, то взрывать их будет невозможно. Ведь не борются с заразными болезнями с помощью бомб.
10. Ошибочное представление о том, что нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально
Название «наноботы» условно и не означает, что длина нанобота будет равна нескольким нанометрам. Он может быть длиной в 1 микрометр и более, способен к саморазмножению и выполнению множества функций. И при этом невидим. В этом случае он будет содержать миллиарды и даже триллионы атомов.
11. Ошибочное представление о том, что нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер
Внутри любой клетки человека находится ДНК объёмом примерно 500 мегабайт, с которой совершается до миллиона операций в секунду. Этого достаточно для создания довольно сильного компьютера. Это показывает нам достижимый предел плотности вычислений, хотя не обязательно в нанороботах будут использоваться именно ДНК компьютеры. Нанороботы смогут объединяться в локальные сети, усиливая свою вычислительную производительность многократно.
22. Э. Дрекслер о возможных возражениях реализуемости нанотехнологий.
Далее я приведу обширную цитату из Э. Дрекслера , основоположника идеи создания нанороботов, в которой выделю названия главок:
«Не сделает ли принцип неопределённости квантовой физики молекулярные машины неосуществимыми?
Кроме всего прочего этот принцип говорит о том, что невозможно определить точное местоположение частицы в течение любого отрезка времени. Это ограничивает то, что могут делать молекулярные машины, равно как и ограничивает то, что может делать что угодно еще. Тем не менее, вычисления показывают, что принцип неопределённости накладывает мало существенных ограничений на то, насколько хорошо атомы можно размещать на свои места, по крайней мере, для тех целей, которые обрисовываются здесь. Принцип неопределённости делает местоположение электронов довольно расплывчатым, и в действительности эта расплывчатость определяет сам размер и структуру атомов. Атом как целое, однако, имеет сравнительно определённое местоположение, установленное своему относительно массивному ядру. Если бы атомы не сохраняли своё положение сравнительно хорошо, молекулы бы не существовали. Квантовой механики не требуется, чтобы доказать эти заключения, поскольку молекулярные машины в клетке демонстрируют то, что молекулярные машины работают.
Не сделают ли тепловые вибрации молекул молекулярные машины неработоспособными или слишком ненадёжными, чтобы их использовать?
Тепловые колебания причинят большие проблемы, чем принцип неуверенности, однако здесь снова существующие молекулярные машины непосредственно демонстрируют, что молекулярные машины могут работать при обычных температурах. Несмотря на тепловые колебания, механизмы копирования ДНК в некоторых клетках делают меньше чем одну ошибку на 100 000 000 000 операций. Чтобы достичь такой точности, однако, клетки используют машины (такие как фермент ДНК-полимераза I), которые проверяют копию и исправляют ошибки. Для ассемблеров вполне может быть необходимы аналогичные способности проверки и исправления ошибок, если они предназначены выдавать надёжные результаты.
Не будет ли радиация разрушать молекулярные машины или делать их непригодными для использования?
Радиация высокой энергии может нарушать химические связи и разрушать молекулярные машины. Живые клетки еще раз показывают, что решения существуют: они работают в течение лет, восстанавливая и заменяя поврежденные радиацией части. Однако поскольку каждая отдельная машина такая крошечная, она представляет собой маленькую цель для радиации, и радиация редко в неё попадает. Всё же, если система наномашин должна быть надёжна, то она должна выдерживать определённое количество повреждений, а повреждённые части должны регулярно чиниться или заменяться. Этот подход к надёжности хорошо знаком разработчикам самолётов и космических кораблей.