7.2.2. Режим обучения сети Хопфилда

Фаза обучения сети Хопфилда ориентирована на формирование такт значений весов, при которых в режиме функционирования задание начальной состояния нейронов, близкого к одному из обучающих векторов х, пр соблюдении зависимости (7.6) приводит к стабильному состоянию, в котором реакция нейронов остается неизменной в любой момент времени.

Выше было показано, что применение правила Хебба для обучения малоэффективно, а в режиме функционирования при наличии шума (когда начальные выборки отличаются от запомненных» значений) оно приводит к многочисленным неточностям в виде локальных минимумов, далеких от искомого решения.

Гораздо лучшие результаты можно получить, если для обучения используется псевдоинверсия. Отправной точкой этого метода считается предположение, что при правильно подобранных весах каждая йоданная на вход выборка х генерирует на выходе саму себя, мгновенно приводя к искомому состоянию (зависимость В матричной форме это можно представить в виде

где - матрица весов сети размерностью прямоугольная матрица размерностью составленная из последовательных обучающих векторов , т. е. . Решение такой линейной системы уравнений имеет вид [42]:

знак обозначает псевдоинверсию. Если обучающие векторы линейно независимы, последнее выражение можно упростить и представить в форме [42, 100]:

Псевдоинверсия матрицы размерностью в этом выражении заменена обычной инверсией квадратной матрицы размерностью Дополнительное достоинство выражения (7.13) - возможность записать его в итерационной форме, не требующей расчета обратной матрицы. В этом случае (7.13) принимает вид функциональной зависимости от последовательности обучающих векторов для

при начальных условиях Такая форма предполагает однократное предъявление всех обучающих выборок, в результате чего матрица весов сети принимает фиксированное значение Зависимость (7.13) либо ее итерационная форма (7.14) называется методом проекций. Следует подчеркнуть, что применение метода псевдоинверсии увеличивает максимальную емкость сети Хопфилда, которая в этом случае становится равной

Модифицированный вариант метода проекций - так называемый метод Л-проекций - это градиентная форма алгоритма минимизации определенной особым образом целевой функции. В соответствии с этим способом веса подбираются рекуррентно с помощью циклической процедуры, многократно повторяемой на всем множестве обучающих выборок:

Коэффициент — это константа обучения, выбираемая обычно из интервала [0,7 - 0,9]. Его смысл тот же, что и в случае многослойных сетей. В отличие от обычного метода проекций метод -проекций предполагает многократно предъявление всех обучающих выборок вплоть до стабилизации значения весов. Процесс обучения завершается, когда изменения вектора весов становятся меньше априорно принятого значения толерантности .

Созданная в Институте электротехники и элекгроизмерений Варшавско: политехнического университета компьютерная программа реализуюшего алгоритм, основанный на методах псевдоинверсии, продемонстрировал значительные преимущества над методом обучения по Хеббу. В режим распознавания она правильно воспринимала значительно большие отклонения от начального вектора от соответствующего ему аттрактора (одного из векторов использованных для обучения).