были выполнены. Просто для этого потребовались масштабы, почти в тысячу раз превышающие те, которыми он располагал в то время.
Алгоритм обратного распространения был необходим для того, чтобы поднять искусственные нейронные сети до уровня, позволяющего им достигать почти человеческих показателей при выполнении некоторых задач. В качестве правила обучения для нейронных сетей он действительно работает. К сожалению, это не означает, что он работает как мозг. Если правило обучения перцептрона - это то, что можно увидеть в игре между реальными нейронами, то алгоритм обратного распространения - нет. Он был разработан как математический инструмент для обеспечения работы искусственных нейронных сетей, а не как модель того, как учится мозг (и его изобретатели с самого начала ясно дали это понять).Причина в том, что реальные нейроны, как правило, могутзнатьтолькооб активности нейронов, с которыми они связаны, но не об активности нейронов, с которыми эти нейроны связаны, и так далее, и так далее. По этой причине для реальных нейронов не существует очевидного способа реализовать правило цепочки. Они должны делать что-то другое.
Для некоторых исследователей, особенно в области искусственного интеллекта, искусственная природа обратного распространения не является проблемой. Их цель - создать компьютеры, способные думать, любыми способами. Но для других ученых - в частности, нейробиологов - поиск алгоритма обучения мозга имеет первостепенное значение. Мы знаем, что мозг умеет становиться лучше; мы видим это, когда учимся играть на музыкальном инструменте, водить машину или читать на новом языке. Вопрос в том, как.
Поскольку мы знаем, что обратное распространение работает, некоторые нейробиологи начинают именно с него. Они проверяют признаки того, что мозг делает что-то вроде обратного распространения, даже если он не может сделать это в точности. Вдохновением послужил успешный опыт обнаружения перцептрона в мозжечке. Там подсказки содержались в анатомии: разное расположение лазающих волокон и гранулезных клеток указывало на различную роль каждого из них. Другие области мозга демонстрируют паттерны связности, которые могут намекать на то, как они обучаются. Например, в неокортексе некоторые нейроны имеют дендриты, которые тянутся далеко над ними. Далекие области мозга посылают входные сигналы на эти дендриты. Несут ли они с собой информацию о том, как эти нейроны повлияли на последующие в нейронной сети мозга? Можно ли использовать эту информацию для изменения силы связей в сети? И неврологи, и исследователи искусственного интеллекта не теряют надежды, чтоверсия обратного распространения в мозге будет найдена и что, когда она будет найдена, ее можно будет скопировать для создания алгоритмов, которые будут обучаться еще лучше и быстрее, чем современные искусственные нейронные сети
В своем стремлении понять, как разум учится под наблюдением, современные исследователи поступают так же, как Маккалох. Они смотрят на груды фактов о биологии мозга и пытаются увидеть в них вычислительную структуру. Сегодня они руководствуются в своих поисках разработками искусственных систем. Завтра открытия из биологии снова будут направлять создание искусственного интеллекта. Эта обратная связь определяет симбиотические отношения между этими двумя областями. Исследователи, стремящиеся построить искусственные нейронные сети, могут черпать вдохновение в закономерностях, найденных в биологических сетях, а нейробиологи могут обратиться к изучению искусственного интеллекта, чтобы определить вычислительную роль биологических деталей. Таким образом, искусственные нейронные сети поддерживают связь между изучением разума и мозга.
Глава 4. Создание и сохранение воспоминаний
Блок железа при температуре 770°C (1 418°F) представляет собой прочную серую сетку. Каждый из триллионов его атомов служит одним кирпичиком в бесконечных параллельных стенах и потолках кристаллической структуры. Это образец упорядоченности. Однако в отличие от упорядоченной структуры магнитное расположение этих атомов представляет собой беспорядок.
Каждый атом железа образует диполь - миниатюрный магнит с одним положительным и одним отрицательным концом. Тепло приводит в движение эти атомы, меняя направление их полюсов в случайном порядке. На микроуровне это означает множество крошечных магнитов, каждый из которых действует в своем направлении. Но поскольку эти силы действуют друг на друга, их чистый эффект становится незначительным. При увеличении масштаба эта масса мини-магнитов вообще не обладает магнетизмом.
Однако, когда температура опускается ниже 770°C, кое-что меняется. Направление движения отдельного атома меняется все реже. Установив свой диполь, атом начинает оказывать постоянное давление на своих соседей. Это указывает им, в каком направлении они тоже должны двигаться. Атомы с разными направлениями борются за влияние на местную группу, пока в конце концов все не выстроятся в одну линию, так или иначе. Когда все маленькие диполи выровнены, возникает мощная сила. Ранее инертный блок железа превращается в мощный магнит.
Филипп Уоррен Андерсон, американский физик, получивший Нобелевскую премию за работу над подобными явлениями, написал в ставшем знаменитым эссе под названием "Больше - это другое", что "поведение больших и сложных агрегатов элементарных частиц, оказывается, не может быть понято в терминах простой экстраполяции свойств нескольких частиц". Иными словами, коллективное действие множества мелких частиц, организованное только за счет их локальных взаимодействий, может привести к появлению функции, напрямую не возможной ни для одной из них в отдельности. Физики формализовали эти взаимодействия в виде уравнений и успешно использовали их для объяснения поведения металлов, газов и льда.
В конце 1970-х годов коллега Андерсона, Джон Дж. Хопфилд, увидел в этих математических моделях магнетизма структуру, схожую со структурой мозга. Хопфилд использовал это понимание, чтобы взять под математический контроль давнюю загадку: вопрос о том, как нейроны создают и сохраняют память.
* * *
Ричард Семон ошибался.
Немецкий биолог, работавший на рубеже двадцатого века, Земон написал две объемные книги о науке памяти. Они были наполнены подробным описанием результатов экспериментов, теорий и словарем для описания воздействия памяти на "органические ткани". Работа Сэмона была проницательной, честной и ясной - но в ней был один существенный недостаток. Подобно тому, как французский натуралист Жан-Батист Ламарк считал (в отличие от нашего современного понимания эволюции), что признаки, приобретенные животным при жизни, могут передаваться его потомству, Семон предположил, чтовоспоминания, приобретенные животным, могут передаваться по наследству. То есть он полагал, что выученные организмом реакции на окружающую среду будут возникать у потомства без обучения. В результате этой ошибочной интуиции большая часть ценной в других отношениях работы Семона была постепенно отброшена и забыта.
Ошибаться в вопросах памяти - не редкость. Философ Рене Декарт, например, считал, что воспоминания активируются маленькой железой, управляющей потоком "животных духов". Уникальность Сэмона заключается в том, что, несмотря на недостатки его работы, которые приговорили его к исторической безвестности, один из его вкладов оставался влиятельным достаточно долго, чтобы породить целый корпус исследований. Этот маленький артефакт его усилий - "энграмма" - слово,