Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике 1.3.3. Следствия из теоремы Колмогорова-Арнольда - Хехт-НильсенаСледствие 1. Из теоремы Хехт-Нильсена следует представимость любой многомерной функции нескольких переменных с помощью нейронной сети фиксированной размерности Неизвестными остаются следующие характеристики функций активации нейронов • ограничения области значений (координаты асимптот) сигмоидальных функций активации нейронов скрытого слоя, • наклон сигмоидальных функций активации, • вид функций активации нейронов выходного слоя Про функции активации нейронов выходного слоя из теоремы Хехт-Нильсена известно только то, что они представляют собой нелинейные функции общего вида В одной из работ, продолжающих развитие теории, связанной с рассматриваемой теоремой, доказывается, что функции активации нейронов выходного слоя должны быть монотонно возрастающими Это утверждение в некоторой степени сужает класс функций, которые могут использоваться при реализации отображения с помощью двухслойной нейронной сети На практике требования теоремы Хехт-Нильсена к функциям активации удовлетворяются следующим образом В нейронных сетях как для первого (скрытого), так и для второго (выходного) слоя используют сигмоидальные передаточные функции с настраиваемыми параметрами То есть в процессе обучения индивидуально для каждого нейрона задается максимальное и минимальное значение, а также наклон сигмоидальной функции Следствие 2. Для любого множества пар К сожалению, эта теорема не конструктивна В ней не заложена методика определения числа нейронов в сети для некоторой конкретной обучающей выборки Для многих задач единичной размерности выходного сигнала недостаточно Необходимо иметь возможность строить с помощью нейронных сетей функции основой для построения таких функций на базе однородных нейронных сетей. Утверждение. Для любого множества пар входных-выходных векторов произвольной размерности Таким образом, для представления многомерных функций многих переменных может быть использована однородная двухслойная нейронная сеть с сигмоидальными передаточными функциями. Для оценки числа нейронов с скрытых слоях однородных нейронных сетей можно воспользоваться формулой для оценки необходимого числа синаптических весов
где Оценив необходимое число весов, можно рассчитать число нейронов в скрытых слоях. Например, для двухслойной сети это число составит:
Известны и другие формулы для оценки, например:
Точно так же можно рассчитать число нейронов в сетях с большим числом слоев. Иногда целесообразно использовать сети с большим числом слоев. Такие многослойные нейронные сети могут иметь меньшие размерности матриц синаптических весов нейронов одного слоя, чем двухслойные сети, реализующие то же самое отображение. Однако строгой методики построения таких сетей пока нет. Аналогичная ситуация складывается и с многослойными нейронными сетями, в которых помимо последовательных связей используются и прямые (связи от слоя с номером Наибольшие проблемы возникают при использовании сетей циклического функционирования. К этой группе относятся многослойные сети с обратными связями (от слоя с номером Отсутствие строгой теории для перечисленных моделей нейронных сетей не препятствует исследованию возможностей их применения. Отметим, что отечественному читателю приведенные результаты известны в более фрагментарной форме - в виде так называемой теоремы о полноте. Теорема о полноте. Любая непрерывная функция на замкнутом ограниченном множестве может быть равномерно приближена функциями, вычисляемыми нейронными сетями, если функция активации нейрона дважды непрерывно дифференцируема и непрерывна. Таким образом, нейронные сети являются универсальными структурами, позволяющими реализовать любой вычислительный алгоритм.
|
1 |
Оглавление
|