|
Сеть Хопфилда Сигналы в сети Хопфилда принимают спиновые значения {-1,1}. Обучение сети – это запоминание нескольких образов Xi. Запоминание происходит за счет настройки весов так, чтобы: Xi=WXi Что приводит к алгоритму, который простым неитерационным расчетом позволяет определить параметры сети: ?ji=1N?k=1,,mxikxjk Где ?– матрица, составленная из весов нейронов, а m – количество запоминаемых образов. Диагональ матрицы ? полагается нулевой, что означает отсутствие влияния нейронов на самих себя. Веса, заданные таким образом, определяют устойчивые состояния сети, соответствующие запомненным векторам. Функция активации нейронов имеет вид: ai=?j?jiyi??yi={1,?1,ai?0ai<0 Входной образ присваивается сети, как начальное приближение. Затем начинается итерационная процедура, которая, если повезет, сходится к устойчивому состоянию. Таким устойчивым состоянием, скорее всего, будет один из запомненных образов. Причем это будет образ, наиболее похожий на входной сигнал. Другими словами, образ ассоциативно с ним связанный. Можно ввести понятие энергии сети, как: E=12?i,j=1N?ijxixj Где N – количество используемых нейронов. Каждому запомненному образу в таком случае будет соответствовать локальный энергетический минимум. Хотя сети Хопфилда и очень просты, они иллюстрирует три фундаментальных свойства мозга. Первое – это существование мозга в динамике, когда любые внешние или внутренние возмущения заставляют покинуть состояние текущего локального минимума энергии и перейти к динамическому поиску нового. Второе – это способность прийти к квазиустойчивому состоянию, определяемому предыдущей памятью. Третье – ассоциативность переходов, когда в смене описательных состояний постоянно прослеживается определенная обобщенная близость. Как и сети Хопфилда, наша модель изначально динамична. Она не может существовать в статичном состоянии. Любая волна существует только в движении. Вызванная активность нейронов запускает волны идентификаторов. Эти волны вызывают активность паттернов, узнавших знакомые волновые сочетания. Паттерны запускают новые волны. И так без остановки. Но динамика наших сетей принципиально отличается от динамики сетей Хопфилда. В традиционных сетях динамика сводится к итерационной процедуре схождения состояния сети к устойчивому состоянию. У нас же динамика сродни тем процессам, что протекают в алгоритмических компьютерах. Волновое распространение информации – это механизм передачи данных. Динамика этой передачи – это не динамика итерационного схождения, а динамика пространственного распространения идентификационной волны. Каждый цикл распространения информационной волны меняет картину вызванной активности нейронов. Переход коры в новое состояние означает смену текущего описания и соответственно смену картины нашей мысли. Динамика этих изменений опять же не является некой итерационной процедурой, а формирует последовательность образов нашего восприятия и мышления. — 59 —
|