2.3. Нейрон типа «адалайн»

Модель нейрона типа “адалайн” (англ.: ADAptive Linear NEuron - адаптивный линейный нейрон) была предложена Б. Видроу [167]. Ее структурная схема, демонстрирующая адаптивный способ подбора весовых коэффициентов, изображена на рис. 2.5. По методу весового суммирования сигналов нейрон типа “адалайн” аналогичен представленным ранее моделям нейронов. Функция активации имеет тип signum, т.е.

Рис. 2.5. Структурная схема нейрона типа “адалайн”

Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как

Следует обратить внимание, что, несмотря на нелинейный характер модели, целевой функции присутствуют только линейные члены, представляющие собой сумму взвешенных входных сигналов, В связи с выполнением условия непрерывности целевой функции стало возможным применение алгоритма градиентного обучения. Как и в ситуации с сигмоидальным нейроном, 1

алгоритме Видроу для минимизации целевой функции применяется метод наискорейшего спуска. Значения весовых коэффициентов могут уточняться либо дискретным способом

либо аналоговым способом - путем решения разностных уравнений вида

в которых в соответствии с зависимостью Несмотря на то, что адалайн имеет на выходе нелинейный блок типа signum, он все же считается линейным элементом, поскольку в определении целевой функции нелинейности отсутствуют, а подбор весов происходит так, как будто никакой нелинейности не существует.

Нейрон типа “адалайн” имеет относительно простую практическую реализацию [15, 113, 167] как в случае аналогового подхода на основе уравнения (2.21), так и в дискретном варианте на базе выражения (2.20). Основные компоненты модели в первом случае - это вычислительные элементы (интеграторы и сумматоры), тогда как во втором случае - это элементы задержки, описываемые оператором запаздывания и также интеграторы и сумматоры. Обе адалайн-модели могут служить базой для компьютерного моделирования нейрона этого типа.

Подчеркнем, что в практических приложениях нейроны типа “адалайн” всегда используются группами, образуя слои, называемые мадалайн (англ.: Many adaline - много адалайн). Каждый входящий в слой нейрон обучается по правилу адалайн. Выходные сигналы отдельных нейронов такого слоя могут формироваться различными способами. Б. Видроу [167] предложил три базовых типа межнейронных соединений: и мажоритарное. На рис. 2.6 а, б и в

Рис. 2.6. Сеть мадалайн с выходами типа: мажоритарный

показаны схемы таких соединений. Конкретные сигналы суммируются с учетом порогового значения, устанавливаемого раздельно для каждого типа связи. Для схемы порог имеет значение для схемы - значение а для мажоритарной схемы - нулевое значение. Благодаря применению функции активации типа signum выходной сигнал у принимает значение когда хотя бы один из входных сигналов имеет значение когда все входные сигналы у, имеют значения либо когда большинство сигналов имеет значение +1 (мажоритарное соединение).