Главная > Искусственные нейронные сети. Теория и практика
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

П.2. Алгоритмы обучения нейронных сетей

Процесс обучения нейронной сети может рассматриваться как настройка архитектуры и весов связей для эффективного выполнения поставленной задачи. Обычно итеративная настройка весов связей осуществляется в соответствии с обучающей выборкой. Свойство сети обучаться на примерах делает их более привлекательными по сравнению с системами, которые следуют системе правил функционирования, сформулированной экспертами.

Для организации процесса обучения, во-первых, надо иметь модель внешней среды, в которой функционирует нейронная сеть. Эта модель определяет парадигму обучения. Во-вторых, необходимо понять, как модифицировать весовые параметры сети.

Существуют три парадигмы обучения: с учителем, без учителя (самообучение) и смешанная. В первом случае на каждый входной пример существует требуемый ответ. Веса настраиваются таким образом, чтобы выходы сети как можно более близкие к требуемым ответам. Более «жесткий» вариант обучения с учителем предполагает, что известна только критическая оценка правильности выхода нейронной сети, а не сами требуемые значения выхода. Для обучения без учителя не нужно знания требуемых ответов на каждый пример обучающей выборки. В этом случае происходит распределение образцов по категориям (кластерам) в соответствии с внутренней структурой данных или степенью корреляции между образцами. При смешанном обучении весовые коэффициенты одной группы нейронов настраиваются посредством обучения с учителем, а другой группы - на основе самообучения.

В процессе обучения учитываются следующие свойства нейронных сетей: емкость сети, сложность образцов и вычислительная сложность. Под емкостью сети понимается число запоминаемых образцов, с учетом сформированных функций и границ принятия решений. Сложность образцов определяет число

обучающих примеров, необходимых для достижения способности сети к обобщению

Известны четыре основных правила обучения, обусловленные связанными с ними архитектурами сетей (табл. П 2.1) коррекция ошибки, правило Больцмана, правило Хебба и метод соревнования

Коррекция ошибки

Для каждого входного примера задан требуемый выход который может не совпадать с реальным у Правило обучения при коррекции по ошибке состоит в использовании разницы для изменения весов, с целью уменьшения ошибки рассогласования Обучение производится только в случае ошибочного результата Известны многочисленные модификации этого правила обучения

Правило Больцмана

Правило Больцмана является стохастическим правилом обучения, обусловленным аналогией с термодинамическими принципами. В результате его выполнения осуществляется настройка весовых коэффициентов нейронов в соответствии с требуемым распределением вероятностей Обучение правилу Больцмана может рассматриваться как отдельный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах

Правило Хебба

Правило Хебба является самым известным алгоритмом обучения нейронных сетей, суть которого заключается в следующем если нейроны с обеих сторон синапса возбуждаются одновременно и регулярно, то сила синаптической связи возрастает Важной особенностью является то, что изменение синаптического веса зависит только от активности связанных этим синапсом нейронов Предложено большое количество разновидностей этого правила, различающихся особенностями модификации синаптических весов.

Метод соревнования

В отличие от правила Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, здесь выходные нейроны соревнуются между собой И выходной нейрон с максимальным значением взвешенной суммы является «победителем» («победитель забирает все»). Выходы же остальных выходных нейронов устанавливаются в неактивное состояние При обучении модифицируются только веса нейрона-«победителя» в сторону увеличения близости к данному входному примеру

(кликните для просмотра скана)

Это правило позволяет группировать входные данные на категории (кластеры) и представлять их отдельными выходными нейронами.

Нейронная сеть считается устойчивой, если после конечного числа итераций обучения ни один из примеров обучающей выборки не изменяет своей принадлежности в кластерах. Однако сеть не перестанет обучаться, если параметр скорости обучения не равен нулю. Но эта искусственная остановка обучения вызывает другую проблему, называемую пластичностью и связанную со способностью сети к адаптации к новым данным. Возникает дилемма стабильности-пластичности Г россберга.

Список представленных в табл. П.2.1 алгоритмов обучения нейронных сетей не является исчерпывающим. В последней колонке перечислены задачи, для которых может быть применены эти алгоритмы. Каждый алгоритм обучения ориентирован на сеть определенной архитектуры и предназначен для ограниченного класса задач. Кроме рассмотренных, следует упомянуть некоторые другие алгоритмы: Adaline и Madeline, линейный дискриминантный анализ, проекции Саммона, метод главных компонентов.

<< Предыдущий параграф Следующий параграф >>
Оглавление