Геометрическая интерпретация собственных векторов и собственных значений

Собственные векторы и собственные значения непосредственно связаны с некоторыми свойствами поверхности, образованной графиком функции ошибки Напомним, что , определяемая соотношением (2.31), описывает гиперпараболическую поверхность в -мерном пространстве с координатными осями, соответстющими

Рассмотрим теперь системы только с двумя весовыми коэффициентами, т. е. некоторое трехмерное пространство. Затем можно сделать обобщение для пространств большей размерности или для двухмерного пространства в системе с одним весовым коэффициентом.

Для случая с двумя весовыми коэффициентами функция g, аналогично примеру на рис. 2.5, описывает параболоид. Как показано на рис. 3.1, при сечении параболоида плоскостями, параллельными плоскости , образуются концентрические эллипсы, соответствующие некоторому постоянному значению СКО. Из (2.13) следует, что в общем виде зависимость, описывающая любую из проекций этих кривых на плоскости , определяется выражением

Как показано на рис. 3.1, можно перейти от вектора W к новым координатам — компонентам вектора V, начало которых находится в центре концентрических эллипсов. Это начало координат соответствует координатам точки с минимальным значением СКО и в соответствии с (2.17)

Рис. 3.1. Эллипсы на плоскости соответствующие некоторым постоянным значениям СКО с приведенной системой координат и главными осями . Эти эллипсы являются контурами проекций сечеиий поверхности, изображенной на рис. 2.5.

Тогда (3.28) принимает вид

(3.30)

Выражение (3.30) описывает эллипс (или в общем случае гиперэллипс) с центром в начале координат В этой новой системе координат существуют две (или в общем случае ) перпендикулярные прямые, называемые главными осями эллипса, которые на рис. 3.1 обозначены

Можно получить выражение для любой нормали эллипса, если полагать, что эллипс описывается функцией и найти выражение для градиента F, который является также градиентом поскольку я F отличаются лишь константой. Градиент

(К этому результату можно прийти, если записать VTRV в виде двойной суммы и найти поочередно каждую производную.)

Кроме того, любой вектор, проходящий через начало координат при должен иметь вид Но через начало координат проводит и является нормалью к кривой главная ось. Таким образом,

или

где V представляет собой главную ось. Этот результат имеет такой же вид, как соотношение (3.1), поэтому V должен быть собственным вектором матрицы R. Итак, собственные векторы корреляционной матрицы входного сигнала определяют главные оси сечений поверхности, образованной графиком функции ошибки (рабочей функции). Завершая геометрические преобразования, рассмотрим выражения для функции ошибки во всех трех системах координат. Из (2.28), (2.23) и (3.5)

Уравнения (3.33), (3.34) и (3.35) представляют собой функцию, выраженную соответственно в обычной и смещенной системах координат и в системе координат, образованной главными осями.

Снова, как и в (3.31), вычислив градиент, можно видоизменить (3.35):

В отличие от (3.31) очевидно, что если только один компонент является ненулевым, то вектор градиента лежит на этой оси. Следовательно, V в (3.35) представляет собой систему координат, образованную главными осями. Следующие преобразования соответствуют выражениям (3.34) и (3.35):

Эти преобразования можно представить в примере на рис. 3.1.

Важна также геометрическая интерпретация собственных значений матрицы R. Как видно из (3.36), градиент g относительно любой главной оси можно записать в виде

а также

Таким образом, вторая производная функция относительно любой главной оси равна удвоенному собственному значению, т. е. собственные значения корреляционной матрицы R входного сигнала соответствуют вторым производным функции ошибки g относительно главных осей.

В качестве простого примера, иллюстрирующего этот результат, рассмотрим систему с одним весовым коэффициентом, в которой функция становится параболой. Пусть элемент матрицы R. Тогда из (2.33) для этого случая

Здесь существует только одно измерение для вектора W, поэтому ось w, кроме того, является главной осью, а собственное значение . Дважды дифференцируя эту функцию по , так же, как и в (2.34), получаем

Таким образом, для одного весового коэффициента вторая производная параболы в любой точке равна . Численный пример для системы с двумя весовыми коэффициентами рассматривается в следующем разделе.