2.6. Модель нейрона Хебба

Д. Хебб в процессе исследования нервных клеток [49, 51] заметил, что связь между двумя клетками усиливается, если обе клетки пробуждаются (становятся активными) в один и тот же момент времени. Если клетка с выходным сигналом связана с клеткой, имеющей выходной сигнал связью с весом то на силу связи этих клеток влияют значения выходных сигналов и

Хебб предложил формальное правило, в котором отразились результаты его наблюдений. В соответствии с правилом Хебба (49], вес нейрона изменяется пропорционально произведению его входного и выходного сигналов

где это коэффициент обучения, значение которого выбирается в интервале (0,1). Правило Хебба может применяться для нейронных сетей различных типов с разнообразными функциями активации моделей отдельных нейронов.

Структурная схема нейрона Хебба, представленная на рис. 2.12, соответствует стандартной форме модели нейрона.

Связь с весом способ подбора значения которого задается отношением (2.31), соединяет входной сигнал с сумматором i-го нейрона, вырабатывающего выходной сигнал

Обучение нейрона по правилу Хебба может проводиться как с учителем, так и без него. Во втором случае в правиле Хебба используется фактическое значение выходного сигнала нейрона. При обучении с учителем вместо значения выходного сигнала уиспользуется ожидаемая от этого нейрона реакция . В этом случае правило Хебба записывается в виде

Рис. 2.12. Структурная схема нейрона Хебба

Правило Хебба характеризуется тем, что в результате его применения веса могут принимать произвольно большие значения, поскольку в каждом цикле обучения происходит суммирование текущего значения веса и его приращения

Один из способов стабилизации процесса обучения по правилу Хебба состоит в учете для уточнения веса последнего значения уменьшенного на коэффициент забывания При этом правило Хебба представляется в виде

Значение коэффициента забывания у выбирается, как правило, из интервала и чаще всего составляет некоторый процент от коэффициента обучения Применение больших значений у приводит к тому, что нейрон забывает значительную часть того, чему он обучился в прошлом. Рекомендуемые значения коэффициента забывания - при которых нейрон сохраняет большую часть информации, накопленной в процессе обучения, и получает возможность стабилизировать значения весов на определенном уровне.

В качестве примера рассмотрим обучение без учителя с забыванием сети, состоящей из четырех нейронов с одноступенчатой нелинейностью, причем на входы каждого нейрона подаются все четыре компонента вектора х (рис. 2.13). Примем, что веса поляризации для постоянны и равны -0,5.

Рис. 2.13. Структура сети Хебба Обучающие выборки х представлены в следующем виде:

Начальные значения весовых коэффициентов заданы единичной матрицей в которой каждый столбец соответствует весам нейрона:

После нескольких циклов обучения при матрица весов приняла вид:

Рис. 2.14. Модель линейного нейрона Хебба

В результате обучения связи между четвертым нейроном и вторым входом, а также между вторым нейроном и четвертым входом были усилены. После проведенного тренинга оба нейрона (второй и четвертый) одинаково реагируют на единичный сигнал, поступающий как на второй, так и на четвертый вход. Веса первого и третьего нейронов подверглись минимальным изменениям, соответствующим принятым коэффициентам обучения и забывания у. Сеть самостоятельно (обучение проводилось без учителя) обрела способность распознавать определенные зависимости между вторым входом и четвертым нейроном, а также между четвертым входом и вторым нейроном. По этой причине обучение по Хеббу считается обучением ассоциативного типа.

При обучении линейного нейрона по правилу Хебба стабилизация не происходит даже при вводе коэффициента забывания. Выходной сигнал нейрона, структурная схема которого приведена на рис. 2.14, определяется выражением

Если согласно правилу Хебба

подставить выражение (2.35) в формулу (2.36) и выбрать для упрощения то получим приращение вектора весов А и в виде

где - это матрица корреляции, которая по определению является симметричной и положительно полуопределенной и, следовательно, имеет собственные натуральные и неотрицательные значения. При выполнении операций, описываемых зависимостью (2.37) и повторяемых на положительно полуопределенной матрице С, процесс становится расходящимся, а значения компонентов вектора стремятся к бесконечности.

Нестабильность правила Хебба в процессе обучения можно устранить ограничением вектора весов за счет операции ренормализации, т.е. таким подбором пропорционального коэффициента а на каждом шаге обучения, чтобы при Этот метод достаточно сложен и требует дополнительных трудозатрат на этапе обучения. модифицировал правило Хебба таким образом, что и без ренормализации процесса обучения вектор весов самостоятельно стремится к . В соответствии с правилом Ойи уточнение весов производится согласно выражению

Это правило напоминает обратное распространение, поскольку сигнал х,-модифицируется обратным сигналом, связанным с выходным сигналом у нейрона. Для каждого отдельно взятого нейрона правило Ойя может считаться локальным, так как в процессе модификации х; принимается во внимание только тот весовой коэффициент, значение которого подбирается в текущий момент времени.

Доказательство ограниченности весов, уточняемых по правилу Ойя, можно получить, заменяя скалярное выражение (2.38) векторной формой, которая с учетом упрощения и в соответствии с (2.38) приобретает вид:

Стабильность процесса обучения достигается, когда при достаточно длительном обучении обеспечивается т. е.

Если собственное значение корреляционной матрицы С обозначить А, а вектор и» подбирать как связанный с ней собственный вектор, то по определению собственного значения имеем Подставляя это выражение в формулу (2.39), получаем:

Из (2.41) следует, что применение для обучения модифицированного правила Хебба приводит к ограничению модуля вектора единицей обеспечивающему ограниченность значений весовых коэффициентов.