5.2. Радиальная нейронная сеть

Использование в разложении базисных функций, где - это количество обучающих выборок, недопустимо также и с практической точки зрения, поскольку обычно количество этих выборок очень велико, и в результате вычислительная сложность обучающего алгоритма становится чрезмерной. Решение системы уравнений (5.4) размерностью при больших значениях становится затруднительным, так как очень большие матрицы (за исключением ортогональных), как правило, имеют порядковый характер, а коэффициент порядка может достигать величины даже 1020. Поэтому так же как и для многослойных сетей, необходимо редуцировать количество весов, что в этом случае сводится к уменьшению количества базисных функций. Поэтому ищется субоптимальное решение в пространстве меньшей размерности, которое с достаточной точностью аппроксимирует точное решение. Если ограничиться К базисными функциями, то аппроксимирующее решение можно представить в виде

где - множество центров, которые необходимо определить. В особом случае, если принять то можно получить точное решение

Задача аппроксимации состоит в подборе соответствующего количества радиальных функций и их параметров, а также в таком подборе весов , чтобы решение уравнения (5.7) было наиболее близким к точному. Поэтому проблему подбора параметров радиальных функций и значенн весов сети можно свести к минимизации целевой функции, которая при

использовании метрики Эвклида записывается в форме

В этом уравнении К представляет количество радиальных нейронов, — коли чество обучающих пар где х, - это входной вектор, - соответствующая ему ожидаемая величина. Обозначим вектор ожидаемых значений, вектор весов сети, радиальную матрицу, называемую матрицей Грина [46].

При ограничении К базисными функциями матрица становится прямоугольной с количеством строк, как правило, значительно большим, чем число столбцов

Если допустить, что параметры радиальных функций известны, то оптимизационная задача (5.8) сводится к решению системы уравнений, линейных относительно весов

Вследствие прямоугольности матрицы можно определить вектор весов с использованием операции псевдоинверсии матрицы т.е.

где обозначает псевдоинверсию прямоугольной матрицы . В вычислительной практике псевдоинверсия рассчитывается с применением декомпозиции

В обсуждаемом до этого момента решении использовалось представление базисных функций матрицей Грина, зависящее.от эвклидовой нормы вектора Если принять во внимание, что многомерная функция может иметь различный масштаб по каждой оси, с практической точки зрения оказывается полезным уточнить норму масштабирования путем ввода в определение эвклидовой метрики весовых коэффициентов в виде матрицы

Масштабирующая матрица при -мерном векторе х имеет вид:

При обозначении произведения матриц матрицей корреляции С в общем случае получим:

Если масштабирующая матрица имеет диагональный вид, то получаем Это означает, что норма масштабирования вектора х рассчитывается согласно стандартной формуле Эвклида, с использованием индивидуальной шкалы для каждой переменной При взвешенная метрика Эвклида сводится к классической (немасштабируемой) метрике

Чаще всего в качестве радиальной функции применяется функция Гаусса. При размещении ее центра в точке с,- она может быть определена в сокращенной форме как

В этом выражении - параметр, от значения которого зависит ширина функции. В случае гауссовской формы радиальной функции с центром в точке и масштабирующей взвешенной матрицы связанной с базисной функцией, получаем обобщенную форму функции Гаусса

где матрица играет роль скалярного коэффициента стандартной многомерной функции Гаусса, заданной выражением (5.13).

Полученное решение, представляющее аппроксимирующую функцию в многомерном пространстве в виде взвешенной суммы локальных базисных радиальных функций (выражение (5.7)), может быть интерпретировано радиальной нейронной сетью, представленной на рис. 5.2 (для упрощения эта сеть имеет только один выход), в которой определяется зависимостью (5.13) либо (5.14). Это сеть с двухслойной структурой, в которой только скрытый слой выполняет нелинейное отображение, реализуемое нейронами с базисными радиальными функциями. Выходной нейрон, как правило, линеен, а его роль сводится к взвешенному суммированию сигналов, поступающих от нейронов скрытого слоя. Вес и, как и при использовании сигмоидальных функций, представляет поляризацию, вводящую показатель постоянного смещения функции.

Полученная архитектура радиальных сетей имеет структуру, аналогичную многослойной структуре сигмоидальных сетей с одним скрытым слоем. Роль

Рис. 5.2. Обобщенная структура радиальной сети RBF

скрытых нейронов в ней играют базисные радиальные функции, отличающиеся своей формой от сигмоидальных функций. Несмотря на отмеченное сходство, сети этих типов принципиально отличаются друг от друга. Радиальная сеть имеет фиксированную структуру с одним скрытым слоем и линейными выходными нейронами, тогда как сигмоидальная сеть может содержать различное количество слоев, а выходные нейроны бывают как линейными, так и нелинейными. Используемые радиальные функции могут иметь весьма разнообразную структуру [46, 60, 160]. Нелинейная радиальная функция каждого скрытого нейрона имеет свои значения параметров и тогда как в сигмоидальной сети применяются, как правило, стандартные функции активации с одним и тем же для всех нейронов параметром Аргументом радиальной функции является эвклидово расстояние образца от центра а в сигмоидальной сети это скалярное произведение векторов

Еще большие отличия между этими сетями можно заметить при детальном сравнении их структур. Сигмоидальная сеть имеет многослойную структуру, в которой способ упорядочения нейронов повторяется от слоя к слою. Каждый нейрон в ней выполняет суммирование сигналов с последующей активацией. Структура радиальной сети несколько иная. На рис. 5.3 изображена подробная схема сети RBF с радиальной функцией вида (5.13) при классическом понимании эвклидовой метрики. Из рисунка видно, что первый слой составляют нелинейные радиальные функции, параметры которых (центры и коэффициенты уточняются в процессе обучения. Первый слой не содержит линейных весов в понимании, характерном для сигмоидальной сети.

Рис. 5.3. Детальная схема структуры радиальной сети RBF

Еще более сложной оказывается детальная структура сети, реализующей масштабированную радиальную функцию в виде, определенном выражением (5.14). Такая сеть, представленная на рис. 5.4, называется HRBF (англ.: Hyper Radial Basis Function). Радиальный нейрон в ней имеет особенно сложную структуру, содержащую и сумматоры сигналов, аналогичные применяемым в сигмоидальной сети, и показательные

Рис. 5.4. Детальная схема структуры радиальной сети HRBF с масштабирующей матрицей произвольного вида

функции активации с параметрами, подлежащими уточнению в процессе обучения. Веса радиального нейрона скрытого слоя - это элементы матрицы играющие роль масштабирующей системы. Они вводят дополнительные степени свободы сети, что позволяет лучше приблизить выходной сигнал к ожидаемой функции

Рис. 5.5. Детальная схема структуры радиальной сети HRBF с диагональной масштабирующей матрицей

Во многих практических приложениях масштабирующая матрица имеет диагональную форму, в которой элементы принимают ненулевые значения. В такой системе отсутствует круговое перемешивание сигналов, соответствующих различным компонентам вектора х, а элемент играет роль индивидуального масштабирующего коэффициента для компонента вектора нейрона. На рис. 5.5 представлена структура упрощенной сети HRBF с диагональными матрицами Следует отметить, что в сетях HRBF роль коэффициентов выполняют элементы матрицы которые уточняются в процессе обучения.