Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
2.2. Сигмоидальный нейронНейрон сигмоидального типа (рис. 2.1) имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции [46, 114]. Униполярная функция, как правило, представляется формулой
тогда как биполярная функция задается в виде
В этих формулах параметр
Рис. 2.1. Модель сигмоидального нейрона Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции имеем
тогда как для биполярной функции
И в первом, и во втором случае график изменения производной относительно переменной х имеет колоколообразную форму, а его максимум соответствует значению Сигмоидальный нейрон, как правило, обучается с учителем по принципу минимизации целевой функции, которая для единичного обучающего кортежа
где
Функция
Рис. 2.2. График сигмоидальной функции: а) униполярной; б) биполярной при различных значениях коэффициента метод наискорейшего спуска, в соответствии с которым уточнение вектора весов
где
Рис. 2.3. График производной от сигмоидальной функции при различных значениях коэффициента Значения весовых коэффициентов также могут уточняться дискретным способом:
где
в котором константа Необходимо подчеркнуть, что применение градиентного метода для обучения нейрона гарантирует достижение только локального минимума. В случае полимодальной целевой функции найденный локальный минимум может быть достаточно далек от глобального минимума. Выход из окрестности локального минимума при использовании простого алгоритма наискорейшего спуска невозможен. Результативным может оказаться обучение с моментом или разбросом [51, 114]. В этом методе процесс уточнения весов определяется не только информацией о градиенте функции, но также и фактическим трендом изменений весов. Подобный способ обучения может быть задан следующим математическим выражением, определяющим приращение значений весов:
в котором первый член соответствует обычному методу наискорейшего спуска, тогда как второй член, называемый моментом, отражает последнее изменение весов и не зависит от фактического значения градиента. Значение коэффициента момента а, как правило, выбирается из интервала Следует отметить, что показатель момента не должен доминировать в процессе обучения, так как это приведет к нестабильности (расходимости) алгоритма. Как правило, в процессе обучения отслеживается значение погрешности
Рис. 2.4. Иллюстрация влияния момента на процесс обучения нейронной сети
|
1 |
Оглавление
|