Раздел 3. ОДНОНАПРАВЛЕННЫЕ МНОГОСЛОЙНЫЕ СЕТИ СИГМОИДАЛЬНОГО ТИПА

Объединенные между собой нейроны образуют систему, которая в дальнейшем будет называться искусственной нейронной сетью (сокращенно - ИНС). В зависимости от способа объединения нейронов они могут быть сетями однонаправленными либо рекуррентными (с обратной связью).

Среди различных известных видов ИНС наибольший интерес вызывает однонаправленная многослойная сеть состоящая из нейронов сигмоидального типа, наиболее корректно называемая многослойным персептроном - MultiLayerPerceptron) [46,135]. Передача сигналов в таких сетях происходит только в одном направлении от входа к выходу. Их математическое описание относительно просто и прозрачно, а результат может быть выражен в виде точной функциональной зависимости алгебраического типа. Методы обучения подобных сетей также достаточно просты и имеют несложную практическую реализацию. Обучение многослойного персептрона проводится, как правило, с учителем, а основная идея обучения состоит в подборе кортежей в которых х - входной вектор, соответствующий ему ожидаемый выходной вектор сети. Если векторы х и не равны между собой, сеть называется гетероассоциативной. В случае, когда сеть называется автоассоциативной. В сетях подобного типа используются персептронные модели нейронов либо их обобщенная форма в виде сигмоидальной модели.

В настоящем разделе представляются базовые математические зависимости, определяющие многослойные сигмоидальные сети. Мы обсудим основные методы обучения подобных сетей, в том числе алгоритм обратного распространения ошибок, методы минимизации целевой функции, а также различные методы подбора начальных значений весовых коэффициентов сети, ускоряющие процесс обучения и позволяющие избежать прекращения этого процесса в точках локальных минимумов.

С исторической точки зрения первыми были созданы однослойные сети и методы их обучения, и только через много лет (с конца семидесятых годов двадцатого века) была предложена эффективная методика обучения многослойной сети.