Как мы читаем

Моделирование нейронных сетей

При моделировании нейронных сетей мы используем простые, низкоуровневые механизмы мозга, которые, как известно, используются мозгом для моделирования сложного поведения человека.

Два следующих основных биологических принципа известны уже достаточно давно. Маккалок и Питтс (McCulloch & Pitts, 1943, 1947г.г.) показали, что нейроны суммируют данные, полученные от других нейронов. На рисунке 11 показано крошечное двухмерное поле нейронов (темные треугольники) и, что более важно, множество входных и выходных соединений для каждого нейрона.

Рисунок 11: Поле нейронов и синапсов в коре головного мозга.

По современным оценкам каждый нейрон в коре головного мозга имеет 4000 синапсов. Каждый синапс имеет базовый уровень коммуникации между нейронами и может либо увеличивать этот уровень коммуникации, что означает возбудительное событие, либо понижать уровень коммуникации, что означает запрещающее событие.

Когда нейрон получает больше возбудительной, чем запрещающей информации, он становится активным.

Другой ключевой биологический принцип таков: процесс обучения основан на модификации синаптических связей (Гебб (Hebb, 1949 год)). Когда от синапса поступает важная информация, связь между двумя нейронами становится физически сильнее, а когда информация от другого синапса менее важна, синапсис ослабевает или вообще умирает.

Первой широко известной моделью чтения, созданной путем моделирования нейронных сетей была Интерактивная модель активации Макклелланда и Румельхарта (McClelland & Rumelhart, 1981 год).

Диаграммы на рисунке 12 показывают, как работает эта модель.

Рисунок 12: Интерактивная модель активации Макклелланда и Румельхарта: несколько элементов, соседствующих с элементом буквы Т, находящейся на первой позиции в слове, и их взаимосвязи.

Читатель обрабатывает букву T на первой позиции в слове. Поток информации здесь начинает поступать снизу, где расположены визуальные определители элементов буквы. Два знака слева активны (см. рисунок №12), т.к. они соответствуют элементам заглавной буквы Т, тогда как три знака справа не активны, т.к. не соответствуют элементам буквы.

Каждый знак на уровне визуальных определителей элементов связан с каждым знаком на уровне определителей буквы. Буквы, которые мы здесь видим, относятся только к первой букве слова.

Связи между уровнем визуальных определителей элементов и буквенным уровнем все являются либо возбудительными (представлены стрелочками на конце соединения), либо запрещающими (представлены кружочками на конце соединения).