ПРИЛОЖЕНИЕ В. ОПТИМАЛЬНЫЕ СВОЙСТВА ОБОБЩЕННОГО РАЗЛОЖЕНИЯ КАРУНЕНА - ЛОЭВА
В данном приложении приводится вывод оптимальных свойств обобщенного разложения Карунена — Лоэва, использованных в параграфе 2.2.
1. Вывод свойства (1)
Пусть 
является множеством ортонормированных координатных функций. Запишем (2.24) в следующем виде:
где 
остаточный член разложения, ограниченного при 
Определим среднеквадратичное модулей остаточных членов следующим образом:
Задача заключается в отыскании множества координатных функций, которое среди всех возможных разложений при данном числе членов дает наилучшее приближение к случайной функции 
в смысле минимизации величины
Используя 
получим
Из 
получим
Аналогично
Подставляя 
Выражение 
имеет минимальное значение при 
где 
обобщенная координатная функция Карунена — Лоэва, определенная формулой
(2.30). Это минимальное значение
2. Вывод свойства (2)
Пусть 
для каждого случайного наблюдения и каждого 
является нормированной функцией с интегрируемым квадратом, так что
Тогда из (2.24) получим
и
Пусть
Эти величины являются в сущности собственными значениями интегральных уравнений (2.30). Так как 
и
то 
образуют распределение вероятностей обобщенных координатных функций Карунена — Лоэва 
Определим функцию энтропии для чисел множеств
функции
Если расположить значения в следующем порядке:
то для любых других аналогично расположенных соответствующих любому произвольному множеству координатных функций 
имеем
Поэтому
