- это популярная модель деятельности. К нему эволюционируют другие модели активности, подобно тому, как вода тянется вниз по водостоку. Память - это аттрактор, потому что активация нескольких нейронов, формирующих память, побуждает сеть заполнить остальные. Как только сеть переходит в состояние аттрактора, она остается в нем, а нейроны фиксируются в своих "включенных" или "выключенных" положениях. Физики, всегда любившие описывать вещи в терминах энергии, считают аттракторы "низкоэнергетическими" состояниями. Это комфортное положение, в котором может находиться система; именно это делает их привлекательными и стабильными.
Представьте себе батут, на котором стоит человек. Мяч, помещенный в любое место на батуте, покатится к человеку и останется там. Таким образом, мяч, находящийся в углублении, созданном человеком, является притягивающим состоянием для этой системы. Если бы два человека одинакового размера стояли на батуте друг напротив друга, система имела бы два аттрактора. Мяч катился бы к тому, к кому он изначально был ближе всего, но все дороги все равно вели бы к аттрактору. Системы памяти были бы бесполезны, если бы могли хранить только одно воспоминание, поэтому важно, чтобы сеть Хопфилда могла поддерживать несколько аттракторов. Точно так же, как мяч стремится к ближайшей низкой точке на батуте, начальные состояния нейронной активности эволюционируют в сторону ближайшего, наиболее похожего воспоминания (см. рис. 9).Начальные состояния, которые приводят к определенному аттрактору памяти - например, фотографиявашей детской кровати, которая воскрешает воспоминания о всей комнате, или поездка на пляж, которая воспламеняет воспоминания о детском отдыхе, - как говорят, находятся в "бассейне притяжения" этого воспоминания.
Поэма "Удовольствия памяти" (The Pleasures of Memory) написана в 1792 году Сэмюэлем Роджерсом. Размышляя о всеобщем путешествии, в которое память может увлечь разум, он писал
Убаюканный в бесчисленных камерах мозга,
Наши мысли связаны между собой множеством скрытых цепочек.
Проснись лишь один, и вот, мириады восстают!
Каждый штампует свое изображение, пока другой летит!
Скрытая цепочка" Роджерса может быть найдена в схеме весов, которые восстанавливают память в сети Хопфилда.Действительно, модель аттрактора соответствует многим нашим представлениям о памяти. Она неявно учитывает время, необходимое для восстановления воспоминаний, поскольку сети требуется время для активации нужных нейронов. Аттракторы также могут быть слегка смещены в сети, создавая воспоминания, которые в основном правильные, но с измененной деталью или двумя. А слишком похожие воспоминания могут просто слиться в одно. Хотя сведение памяти к ряду нулей и единиц может показаться оскорблением богатства нашего опыта, именно конденсация этого, казалось бы,
невыразимого процесса делает его понимание доступным.
Рисунок 9
В сети Хопфилда то, насколько прочно нейроны связаны друг с другом, определяет, какие паттерны нейронной активности формируют память. Таким образом, программа находится в весах - но как она туда попадает? Как опыт может создать именно те веса, которые нужны для формирования памяти? Хебб говорит нам, что воспоминания должны возникать в результате усиления связей между нейронами с одинаковой активностью - и в сети Хопфилда именно так и происходит.
Сеть Хопфилда кодирует набор воспоминаний с помощью простой процедуры. При каждом переживании, когда два нейрона либо активны, либо неактивны, связь между ними укрепляется. Таким образом, нейроны, которые работают вместе, оказываются связанными друг с другом. С другой стороны, при каждом опыте, когда один нейрон активен, а другой неактивен, связь ослабевает.5После этойпроцедурыобучениянейроны, которые обычно совместно участвуют в воспоминаниях, будут иметь сильную положительную связь, нейроны с противоположной активностью - сильную отрицательную связь, а остальные будут находиться где-то посередине. Это как раз та связь, которая необходима для формирования аттракторов.
Аттракторы - не тривиальные явления. В конце концов, если все нейроны в сети постоянно посылают и получают входные сигналы, почему мы должны предполагать, что их активность когда-нибудь установится в состоянии памяти, не говоря уже о правильном состоянии памяти? Поэтому, чтобы быть уверенным в том, что в этих сетях образуются правильные аттракторы, Хопфилду пришлось сделать довольно странное допущение: веса в сети Хопфилда симметричны. Это означает, что сила связи от нейрона A к нейрону B всегда такая же, как и сила связи от B к A. Соблюдение этого правила давало математическую гарантию появления аттракторов. Проблема в том, что шансы найти в мозге популяцию таких нейронов, мягко говоря, невелики. Для этого нужно, чтобы каждый аксон, выходящий из одной клетки и образующий синапс с другой, в точности соответствовал тому, что та же клетка отправляет свой аксон обратно, соединяясь с первой клеткой с той же силой. Биология просто не так чиста.
Это свидетельствует о постоянном напряжении в математическом подходе к биологии. Точка зрения физика, зависящая от почти иррациональной степени упрощения, постоянно противоречит биологии, полной грязных, неудобных деталей. В данном случае детали математики требовали симметричных весов, чтобы сделать какое-либо определенное заявление об аттракторах и, таким образом, добиться прогресса в моделированиипроцесса памяти . Биолог, скорее всего, сразу бы отверг это предположение6.
Хопфилд, стоявший по обе стороны пропасти между математикой и биологией, знал, что нужно ценить точку зрения нейробиологов. Чтобы снять их озабоченность, он показал в своей оригинальной работе, что - хотя это и нельзя было гарантировать математически - сети, допускающие асимметричные веса, все же были способны обучаться и поддерживать аттракторы относительно хорошо.
Таким образом, сеть Хопфилда стала доказательством того, что идеи Хебба об обучении действительно могут работать. Кроме того, она давала возможность изучать память математически - количественно. Например, сколько именно воспоминаний может хранить сеть? Этот вопрос можно задать, только имея в голове точную модель памяти. В простейшей версии сети Хопфилда количество воспоминаний зависит от числа нейронов в сети. Например, сеть с 1 000 нейронов может хранить около 140 воспоминаний; 2 000 нейронов - 280; 10 000 - 1 400 и так далее. Если количество воспоминаний не превышает примерно 14 процентов от количества нейронов, каждое воспоминание будет восстановлено с минимальной ошибкой. Однако добавление новых воспоминаний будет подобно последнему дополнению к карточному домику, которое приведет к его обрушению.Когда возможности сети Хопфилда превышены, она разрушается: входные сигналынаправляются к бессмысленным аттракторам, и ни одно воспоминание не восстанавливается успешно. Это явление получило соответствующее драматическое название "катастрофа отключения".
От точности не уйти: как только найдена оценка объема памяти, разумно спросить, совпадает ли она с количеством воспоминаний, которые, как мы знаем, хранит мозг. Знаменательное исследование, проведенное в 1973 году, показало, что люди, которым показывали более 10 000 изображений (каждое только один раз и на короткий промежуток времени), были вполне способны распознать их впоследствии. 10 миллионов нейронов в периферической коре - области