2.2. Алгоритм обратного распространения

Алгоритм обратного распространения (backpropagation algorithm) представляет собой расширение концепции персептрона или АДАЛИНА [15] на многослойные нейронные сети. В алгоритме обратного распространения используется не менее трех слоев обрабатывающих элементов (нейронов). Архитектура типичной трехслойной сети для алгоритма обратного распространения показана на рис. 2.2.1. Левый слой элементов — это входной слой, на который подаются входные данные. За ним следует скрытый слой, в котором обрабатывающие элементы связаны с предшествующим и последующим слоями. Правый слой — выходной. Слои на рис. 2.2.1 являются полностью взаимосвязанными; это значит, что каждый обрабатывающий элемент связан с каждым элементом в предыдущем и следующем слоях. При этом элементы не связаны с другими элементами того же слоя. Следует обратить внимание на то, что сети обратного распространения не обязательно являются полностью связанными, а количество скрытых слоев может быть любым.

2.2.1. Обозначения

Для простоты будем рассматривать трехслойные нейронные сети, аналогичные показанной на рис. 2.2.1, где — выходные величины выходного, скрытого и входного слоев соответственно. Вес связи между элементом скрытого слоя и

элементом выходного слоя будем обозначать как Аналогично вес связи между элементом входного слоя и элементом скрытого слоя будем обозначать как Таким образом, на выходном слое

а на скрытом слое

где

Рис. 2.2.1. Многослойный персептрон

Процедура обучения включает представление набора пар входных и выходных образов. Сначала нейронная сеть на основе входного образа создает собственный выходной образ, а затем сравнивает его с желаемым (целевым) выходным образом. Если различий между фактическим и целевым образом нет, то обучения не происходит. В противном случае веса связей изменяются таким образом, чтобы различие уменьшилось. Мерой различия, используемой в рассматриваемом примере, является функция квадрата ошибки Е, задаваемая следующим образом:

где — желаемый выход для компоненты выходного образа и — соответствующий фактический выход. Таким образом, — мера ошибки вход/выход для образа, — общая мера ошибки.