2.2. Сигмоидальный нейрон

Нейрон сигмоидального типа (рис. 2.1) имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции [46, 114]. Униполярная функция, как правило, представляется формулой

тогда как биполярная функция задается в виде

В этих формулах параметр подбирается пользователем. Его значение влияет на форму функции активации. На рис. 2.2 представлены графики сигмоидальной функции от переменной х для различных значений причем на рис. 2.2 а показана униполярная, а на рис. 2.2 б - биполярная функция. Графики обеих функций сильно зависят от значения При малых величинах график функции достаточно пологий, но по мере роста значения крутизна графика увеличивается. При сигмоидальная функция превращается в функцию ступенчатого типа, идентичную функции активации персептрона. На практике чаще всего для упрощения используется значение

Рис. 2.1. Модель сигмоидального нейрона

Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции имеем

тогда как для биполярной функции

И в первом, и во втором случае график изменения производной относительно переменной х имеет колоколообразную форму, а его максимум соответствует значению (рис. 2.3).

Сигмоидальный нейрон, как правило, обучается с учителем по принципу минимизации целевой функции, которая для единичного обучающего кортежа нейрона определяется в виде

где

Функция является сигмоидальной, - это входной вектор, со значением при наличии поляризации и при ее отсутствии, а - соответствующее ему ожидаемое значение на выходе нейрона. Применение непрерывной функции активации позволяет использовать при обучении градиентные методы. Проще всего реализовать

Рис. 2.2. График сигмоидальной функции:

а) униполярной; б) биполярной при различных значениях коэффициента

метод наискорейшего спуска, в соответствии с которым уточнение вектора весов проводится в направлении отрицательного градиента целевой функции. Если эта функция определена выражением (2.11), составляющая градиента имеет вид:

где означает разницу между фактическим и ожидаемым значением выходного сигнала нейрона. Если ввести обозначение то можно получить выражение, определяющее составляющую градиента в виде

Рис. 2.3. График производной от сигмоидальной функции при различных значениях коэффициента

Значения весовых коэффициентов также могут уточняться дискретным способом:

где - это коэффициент обучения, значение которого, как правило, выбирают либо эмпирически из интервала (0,1), либо решением разностного уравнения

в котором константа выступает в роли, аналогичной значению в уравнении (2.15). Два последних уравнения определяют алгоритм обучения нейрона. На эффективность обучения оказывает сильное влияние подбор коэффициента обучения. В существующих приложениях его величина может задаваться константой либо быть переменной величиной, значение которой изменяется в процессе обучения адаптивным способом либо подбирается на каждом шаге по принципу направленной минимизации. Наиболее эффективным, но одновременно и наиболее трудоемким считается метод направленной минимизации, по которому коэффициент обучения подбирается на каждом шаге путем минимизации целевой функции от одной переменной в направлении наискорейшего уменьшения значений этой целевой функции.

Необходимо подчеркнуть, что применение градиентного метода для обучения нейрона гарантирует достижение только локального минимума. В случае полимодальной целевой функции найденный локальный минимум может быть достаточно далек от глобального минимума. Выход из окрестности локального минимума при использовании простого алгоритма наискорейшего спуска невозможен. Результативным может оказаться обучение с моментом или разбросом [51, 114]. В этом методе процесс уточнения весов определяется не

только информацией о градиенте функции, но также и фактическим трендом изменений весов. Подобный способ обучения может быть задан следующим математическим выражением, определяющим приращение значений весов:

в котором первый член соответствует обычному методу наискорейшего спуска, тогда как второй член, называемый моментом, отражает последнее изменение весов и не зависит от фактического значения градиента. Значение коэффициента момента а, как правило, выбирается из интервала Следует обратить внимание, что влияние момента на подбор весов увеличивается с ростом значения а. Такое влияние существенным образом усиливается при непосредственной близости локального минимума, где значение градиента стремится к нулю. В этом случае возможны такие изменения весов, которые приводят к возрастанию значения целевой функции и выходу за пределы области локального минимума. Такая ситуация применительно к аппроксимирующей сети (выполняющей аппроксимацию входных данных) иллюстрируется на рис. 2.4. Отмеченные на графике точки соответствуют значениям целевой функции, получаемым на каждом шаге обучения. Локальный минимум был покинут благодаря действию момента. Это позволило найти в точке новый минимум с меньшим значением целевой функции, который оказался более подходящим с позиций приближения фактического значения к ожидаемому значению

Следует отметить, что показатель момента не должен доминировать в процессе обучения, так как это приведет к нестабильности (расходимости) алгоритма. Как правило, в процессе обучения отслеживается значение погрешности с тем, чтобы не допустить его возрастания сверх некоторого допустимого предела, например 5%. В подобном случае, если

Рис. 2.4. Иллюстрация влияния момента на процесс обучения нейронной сети

очередной шаг считается целесообразным, и уточнение весов проводится. Если же изменения игнорируются, принимается и в выражении (2.17) градиентная составляющая оказывается доминирующей над составляющей момента.