Раздел 10. СЕТИ С САМООРГАНИЗАЦИЕЙ КОРРЕЛЯЦИОННОГО ТИПА
Другой важный класс сетей с самоорганизацией составляют сети, в процессе обучения которых используется информация о зависимостях между сигналами. Эти сети называются корреляционными, или хеббовскими. В процессе обучения они выявляют значимые корреляционные зависимости между сигналами, подстраиваясь под них путем адаптации значений синаптических весов.
В этом разделе будут обсуждаться различные аспекты самоорганизации на основе обобщенных правил Хебба. Мы представим два вида хеббовских сетей: сеть, выполняющую декомпозицию данных по главным компонентам, называемую сетью РСА (англ.: Principal Component Analysis - анализ главных компонентов), и сеть, декомпозирующую обучающие данные на независимые компоненты, называемую сетью ICA (англ.: Independent Component Analysis -анализ независимых компонентов). Обе сети по своей природе линейны (линейны как сами нейроны, так и межнейронные связи), хотя алгоритмы обучения имеют нелинейный характер.
10.1. Энергетическая функция корреляционных сетей
Применение основного правила Хебба связано с использованием модели линейного нейрона, в соответствии с которой выходной сигнал 
нейрона равен взвешенной сумме входных сигналов:
В этой модели используется вектор 
дополненный нулевым компонентом 
обозначающим поляризацию. В соответствии с постулатом Хебба изменение веса нейрона после предъявления вектора 
производится по формуле
где 
являются определенными константами, 
- коэффициент обучения. С учетом всего множества обучающих выборок изменение значений весов сети во времени может быть выражено обобщенной формулой [46]
в которой 
— это определенные константы, связанные с 
и с 
, тогда как С - это усредненная ковариация активности 
нейронов, определяемая в виде
Константой 
обозначено усредненное значение входных выборок по 
компоненту усредненного вектора х, где 
Если принять, что изменения весов производятся в соответствии с правилом максимального уменьшения значения энергетической функции Е сети, получаем
После решения этого дифференциального уравнения получаем энергетическую функцию в виде [46]
где
Энергетическая функция содержит два слагаемых: 
. Первый элемент определяет вариацию 
активности 
нейрона; так как 
Второе слагаемое можно отождествить 
штрафной компонентой энергетической функции, иначе называемой в теории оптимизации стоимостной или целевой функцией. При зафиксированные значениях весов функция Е будет принимать минимальные значения тогда, копи вариация 
будет максимальной. В связи с этим обучение по Хеббу приводит 
такой организации нейронов (подбором их весов), которая максимизирует
вариацию активности нейронов при определенном ограничении значений их весов. Поскольку в общем случае эти весовые ограничения не уточняются, функция может иметь несколько локальных максимумов.
