9.1. Поиск оптимального преобразования

Найдем ортогональное преобразование, которое, с одной стороны, будет обеспечивать представление сигнала, а с другой стороны, будет оптимальным в смысле среднеквадратичного критерия. Пусть I — ортогональное преобразование, заданное в виде

(9.1.1)

где — есть -векторы. Для удобства базисные векторы будем считать вещественнозначными и ортонормированными, т. е.

Для каждого вектора X, принадлежащего к данному классу векторов исходных данных, получаем

(9.1.3)

где и . Из выражений (9.1.1) и (9.1.2) следует, что и, следовательно, , что можно записать как

Желательно сохранить подмножество координат Y и при этом получить оценку X. Это может быть осуществлено заменой остальных координат Y заранее выбранными константами , что приводит к

(9.1.5)

где обозначает оценку X. Ошибку, возникающую при отбрасывании координат, можно представить в виде , где — вектор ошибки, т. е.

(9.1.6)

Из выражений (9.1.4) и (9.1.6) следует, что

(9.1.7)

Таким образом, среднеквадратичная ошибка определяется в виде

(9.1.8)

Подстановка (9.1.7) в (9.1.8) приводит к

что в упрощенном виде можно записать как

(9.1.9)

Из выражения (9.1.9) следует, что для каждого выбора и получаем определенное значение . Требуется определить такую комбинацию этих величин, чтобы минимизировать . Процедура выбора оптимальных и , разбивается соответственно на два этапа.

Первый этап. Оптимальное значение , определяем из выражения

,

что приводит к

(9.1.10)

Затем из выражений (9.1.2) и (9.1.4) получаем

(9.1.11)

Таким образом, , где . Так как разность в (9.1.9) является скалярной величиной, то можно записать как

(9.1.12)

Подстановка и выражение (9.1.12) приводит к

Так как является ковариационной матрицей X, получаем

Второй этап. Для нахождения оптимального следует не только минимизировать по отношению к , но и удовлетворить ограничению . При этом воспользуемся методом множителей Лагранжа и минимизируем

(9.1.14)

по отношению к , где — множители Лагранжа. Можно показать, что (см. задачу 9.1)

Таким образом, из выражения (9.1.14) получаем

что приводит к

По определению выражение (9.1.15) означает, что собственный вектор ковариационной матрицы а — соответствующее собственное значение. Обозначая через и подставляя (9.1.15) в (9.1.13), получаем минимальное значение среднеквадратичной ошибки в виде

(9.1.16)

Таким образом, разложение, записанное в (9.1.4), представляет собой разложение по собственным векторам ковариационной матрицы. Это разложение называется разложением Карунена—Лоэва. Векторы , которые образуют Т в (9.1.1), являются собственными векторами Поэтому преобразование называется преобразованием Карунена—Лоэва (ПКЛ). Напомним, что ПКЛ уже упоминалось в § 8.5.

В литературе по статистике задача минимизации называется факторным анализом или анализом главных компонент. Из приведенного выше рассмотрения можно сделать два важных вывода:

1. Преобразование Карунена—Лоэва является оптимальным преобразованием для представления сигналов по отношению к критерию среднеквадратичной ошибки.

2. Поскольку , то ковариационная матрица в области изображений определяется как [см. выражение (8.2.4)]

Так как Т состоит из собственных векторов , то [см. выражение (8.5.1)]

(9.1.17)

где — собственные значения . Так как — диагональная матрица, то приходим к выводу, что координаты вектора преобразованных данных в выражении (9.1.11) некоррелированны.