10.2. Нейронные сети РСА

10.2.1. Математическое введение

Анализ главных компонентов (РСА) — это статистический метод, определяющий линейное преобразование Оно трансформирует описание стационарного стохастического процесса, представленного вектором в вектор посредством матрицы при таким образом, что выходное пространство редуцированного размера сохраняет наиболее важную информацию об исходном процессе. Другими словами, преобразование по методу РСА позволяет заменить большое количество информации, основанной на взаимно коррелирующих входных данных, множеством статистически независимых компонентов с учетом их важности. Поэтому оно считается одной из форм компрессии с потерей информации, известной в теории связи как преобразование Карьюнена-Лёве [29, 82].

Пусть обозначает случайный вектор с нулевым средним значением, обозначает ожидаемое (среднее) значение матрицы автокорреляции по всем векторам Эту матрицу при конечном количестве векторов х можно описать зависимостью

матрица данных X образована последовательностью обучающих векторов

Обозначим собственные значения матрицы автокорреляции — сопряженные с ними ортогональные векторы собственных значений, где Собственные значения и собственные векторы связаны зависимостью

где Собственные значения симметричной неотрицательной матрицы корреляции являются рациональными и неотрицательными. Упорядочим их в порядке убывания: . В аналогичной последовательности расположим собственные векторы сопряженные с Если ограничиться К максимальными собственными значениями, матрица преобразования РСА может быть определена в форме при Эта матрица определяет преобразование РСА как линейное преобразование

Вектор представляет собой вектор главных компонентов РСА, имеющих наибольшее влияние на реконструкцию вектора данных

Таким образом, преобразование РСА тесно связано с разложением матрицы корреляции в соответствии с собственными значениями. Если обозначить диагональную матрицу, сформированную из использованных в отображении собственных значений т. е. то матрицу корреляции можно представить в виде следующей декомпозиции:

С позиций статистики преобразование РСА определяет множество К ортогональных векторов (строк матрицы имеющих наибольшее влияние на вариацию входных данных. Первый главный компонент определяет нормализованную линейную комбинацию тех компонентов входных векторов, которые дают наибольшее среднее значение вариации, равное Задача алгоритмов РСА состоит в определении направлений (называемых главными собственными векторами) таким образом, чтобы максимизировать значение при выполнении условия ортогональности для

Реконструкция х на основе вектора у и ортогональной матрицы проводится в соответствии с выражением [29]

Матрица разложения и матрица реконструкции составляют взаимную транспозицию. РСА минимизирует значение ожидаемой погрешност реконструкции данных, которая описывается формулой

Из практики известно [29], что при ограничении К наибольшими собственными значениями (К главными компонентами) эту погрешность можно выразить зависимостью

Минимизация погрешности реконструкции данных равнозначна максимизации вариации проекции

Как так и являются неотрицательными, поскольку все собственные значения матрицы корреляции, как матрицы симметричной и неотрицательнг определенной, являются положительными или нулевыми.

Представление вектора х наибольшими главными компонентами составляющими вектор у, равнозначно сохранению информации о наибольшей части энергии, содержащейся во множестве данных. Первый (наибольший) лавный компонент, сопряженный с своим собственным вектором определяет направление в многомерном пространстве, котором вариация данных максимальна. Последний наименьший главный компонент (англ.: Minor Principal Component) указывает направление, в котором вариация минимальна.

На рис. 10.1 представлена геометрическая интерпретация наиболее значимого и наименее значимого главных компонентов преобразования РСА. Первый главный компонент соответствует направлению наибольшей вариации (энергии) сигналов. При представлении данных только с помощью единственного главного компонента и сопряженного с ним собственного вектора с последующим выбором в качестве результата наибольшего из главных компонентов допускается наименьшая погрешность реконструкции и одновременно максимизируется вариация преобразования. Наименее значимый главный компонент оказывает наименьшее влияние на точность восстановления данных. Поэтому для сжатия данных (уменьшения количества информации с минимальными потерями для ее реконструкции) необходимо их представление множеством наибольших главных компонентов. Игнорирование наименьших компонентов оказывает минимальное воздействие на точность реконструкции данных.

Рис. 10.1. Иллюстрация главных компонентов для группы результатов измерений

Преобразование РСА позволяет определить корреляцию, возникающую между различными переменными, составляющими множество данных. Если эти переменные коррелируют между собой, то знание только части из них будет достаточным для определения остальных. Поэтому такое множество данных может представляться меньшим количеством переменных. В случае, когда переменные не коррелируются, восстановление части из них на основании знания других данных становится невозможным.

В качестве примера, иллюстрирующего разложение на главные компоненты, рассмотрим фактическую корреляцию, существующую между длиной, шириной и высотой особей, составляющих популяцию черепах [29]. Вектор измерений х в этой ситуации образуют три компонента: длина ширина и высота . Т. П. Жоликур и Ж. Мосманн [29] провели измерения этих параметров для популяции размером особи. Была получена матрица корреляции в виде

Декомпозируя эту матрицу по собственным значениям, получаем а также сопряженные с ними собственные векторы:

На их основе определяется матрица преобразования РСА в виде

а также диагональная матрица образованная собственными значениями из матрицы .

Наибольшее собственное значение определяет первый главный компонент, сопряженный с собственным вектором составляющим первую строку матрицы Этот компонент при входном векторе х, состоящем из трех элементов (длина ширина и высота описывается выражением которое в нашем случае приобретает конкретный вид: Каждое из собственных значений соответствует вариации, которую представляет главный компонент. Относительный вклад каждого главного компонента в общую вариацию данных (энергию) можно определить выражением . В рассматриваемом примере этот вклад составляет: Анализ полученных значений говорит о том, что доля первого главного компонента в суммарной вариации данных составляет 98,66%. При восстановлении длины, ширины и высоты черепахи на основании вектора у можно ограничиться его наибольшей составляющей и проигнорировать остальные, так как они не несут существенной информационной нагрузки. Это означает возможность трехкратного уменьшения количества обрабатываемой информации.

При обсуждении преобразования РСА следует подчеркнуть связь между собственными значениями матрицы автокорреляции и особенными значениями матрицы X, составляющими матрицу Особенные значения образуют псевдодиагональную матрицу которая является одной из составляющих SVD-разложения матрицы X. SVD-разложение этой матрицы определяется формулой

Матрицы являются ортогональными, а псевдодиагональная матрица содержит неотрицательные диагональные элементы. Разложение на К главных компонентов соответствует вьщелению при SVD-разложении матрицы X только К наибольших особенных значений и сопряженных с ними К столбцов матриц и V.

Кроме того, существует тесная связь между собственными значениями матрицы и особенными значениями матрицы X. Если определить SVD-разложение матрицы X в форме при правостороннем умножении X на то получим:

Вследствие псевдодиагональности матрицы произведение этой матрицы на дает диагональную матрицу с элементами, равными квадратам элементов матрицы т.е.

В результате получаем:

Принимая во внимание, что -разложение матрицы X точно соответствует разложению РСА матрицы корреляции, определенному выражением (10.12) при Главные векторы отождествляются со столбцами ортогональной матрицы полученной в результате SVD-разложения матрицы данных X.

Аналогичным образом можно доказать, что при левостороннем умножении матрицы X на матрицу получаем:

В этом случае роль матрицы принимает на себя матрица V, также полученная в результате SVD-разложения матрицы X.

Стандартные методы определения собственных векторов (продолжение декомпозиции матрицы при больших размерностях векторов х имеют значительную вычислительную сложность, поэтому на практике более эффективными оказываются адаптивные методы, основанные на обобщенном

правиле Хебба и непосредственно преобразующие входные векторы без явногс определения матрицы Адаптивные методы особенно незаменимы при поступлении данных в режиме “онлайн”, когда создание явной формы матрицы корреляции просто невозможно.

В развитии метода РСА важную роль играют хеббовскяс искусственные нейронные сети, выполняющие это преобразование в режиме онлайн непосредственно на последовательности векторов х. Это преобразование является адаптивным и производится однослойной нейронной сетью, линейной при использовании обобщенного алгоритма Хебба. Созданы различные варианты алгоритмов, в каждом из которых учитывается корреляция между векторами, представляющими входные данные. Значительное упрощение вычислений достигается в результате определения только одного (наибольшего) главного компонента. Поэтому первым будет представлен алгоритм РСА именно для этого случая.