|
Таким образом, нейрон приобретет свойства нейрона-детектора, настроенного на определенное явление, детектируемое по своим признакам. При этом нейрон не просто будет срабатывать как датчик наличия (есть явление – нет явления), он будет уровнем своей активности сигнализировать о выраженности того фактора, на который он обучился. Интересно, что при этом не принципиальна природа синаптических сигналов. С одинаковым успехом нейрон может настраиваться на обработку волновых паттернов, паттернов топографической проекции или их совместную активность. Надо отметить, что Хеббовское обучение, выделяющее первую главную компоненту, приведено чисто иллюстративно, чтобы показать, что локальное рецептивное поле любого нейрона коры содержит всю необходимую информацию для обучения его как универсального детектора. Реальные алгоритмы коллективного обучения нейронов, выделяющие множество разнообразных факторов, организованы несколько сложнее. Стабильность – пластичность Хеббовское обучение очень наглядно. Его удобно использовать для иллюстрации сути итерационного обучения. Если говорить только об активизирующих связях, то по мере того, как нейрон обучается, его веса настраиваются на определенный образ. Для линейного сумматора активность определяется: y=?i?ixi Совпадение сигнала с образом, который выделяется на синаптических весах, вызывает сильный ответ нейрона, несовпадение – слабый. Обучая по Хеббу, мы усиливаем веса тех синапсов, на которые поступает сигнал в моменты, когда и сам нейрон активен, и ослабляем те веса, на которых в это время нет сигнала. Чтобы избежать бесконечного роста весов, вводят нормирующую процедуру, которая держит их сумму в определенных границах. Такая логика приводит, например, к правилу Ойа: ?i(n+1)=?i(n)+?y(n)(xi(n)?y(n)?i(n)) Самое неприятное в стандартном Хеббовском обучении – это необходимость вводить коэффициент скорости обучения , который необходимо уменьшать по мере обучения нейрона. Дело в том, что если этого не делать, то нейрон, обучившись на какой-либо образ, затем, если характер подаваемых сигналов изменится, переобучится на выделение нового фактора, характерного для изменившегося потока данных. Уменьшение же скорости обучения, во-первых, естественно, замедляет процесс обучения, а во-вторых, требует не очевидных методов управления этим уменьшением. Неаккуратное обращение со скоростью обучения может привести к «одеревенению» всей сети и невосприимчивости к новым данным. Все это известно как дилемма стабильности-пластичности. Желание реагировать на новый опыт грозит изменением весов ранее обученных нейронов, стабилизация же приводит к тому, что новый опыт перестает влиять на сеть и просто игнорируется. Приходится выбирать либо стабильность, либо пластичность. Чтобы понять, какие механизмы могут помочь в решении этой проблемы, вернемся к биологическим нейронам. Разберемся чуть подробнее с механизмами синаптической пластичности, то есть с тем, за счет чего происходит синаптическое обучение реальных нейронов. — 42 —
|