7.5. КОНЕЧНОМЕРНЫЕ ПРЕДСТАВЛЕНИЯ СЛУЧАЙНОГО ПРОЦЕССА

В этом параграфе мы рассматриваем вопрос не только имеющий самостоятельное значение, но важный своими приложениями [5, 6]. Он в равной мере затрагивает обсуждаемые далее проблемы: 1) оптимизации, 2) проектирования на конечномерные подпространства из 3) геометрических понятий (выражаемых через ожидания), связанных с пространством случайных величин, и 4) спектрального представления операторов.

Этот вопрос формулируется просто. Мы хотим найти оптимальный -мерный базис для представления отдельных реализаций случайного процесса, такой, что норма ошибки в , усредненная по ансамблю реализаций, минимальна. Мы покажем, что для решения этой задачи нужно лишь, чтобы автокорреляционная функция процесса была известна. Эвристически имеется (Низкая аналогия

между этой задачей и задачей, обсуждавшейся в § 6.8. Тогда мы искали оптимальный базис для класса сигналов, полученных в результате отображения пространства компактным оператором. Теперь сигналы задаются своей автокорреляционной функцией. Для полноты аналогии можно считать, что эта функция задает процесс, полученный путем линейной фильтрации (с неизменными во времени параметрами) белого шума. Мы не требуем, чтобы оператор фильтрации был компактным, требуется лишь, чтобы он был инвариантным во времени. Вместо этого мы получим компактное множество сигналов, рассматривая представления только для ограниченных интервалов времени. Причина такого ограничения связана с тем, что многие важные процессы (например, стационарные) имеют достаточно характерные реализации, ограниченные по времени. Поэтому не имеет смысла проектировать эти реализации на конечномерные подпространства, состоящие из функций, определенных на всей оси времени.

Разложение Карунена — Лоэва

n-мерное представление для отдельной реализации имеет вид

Мы полагаем для удобства, что — ортонормальный базис в

Тогда норма ошибки в

принимает минимальное значение для выбранной реализации, если коэффициенты удовлетворяют условию

Квадрат нормы минимальнойошибки имеет значение

Заметим, что случайны, это есть реализации соответствующих случайных величин, причем их статистические свойства зависят от выбора базиса Мы попытаемся так выбрать базисных функций чтобы математическое ожидание случайной величины

было минимальным. Обозначим через среднее значение квадрата нормы, т. е.

Изменив порядок усреднения и интегрирования, с учетом (7.38) получим

Первое слагаемое в (7.41) не зависит от Поэтому задача состоит в том» чтобы найти ортогональных функций, максимизирующих величину

Максимизируемая величина (7.42) есть сумма квадратичных функционалов. Условия максимума нетрудно выявить, если учесть, что ядром интегрального оператора

является автокорреляционная функция процесса с конечным средним квадратом. Это позволяет сделать ряд заключений о свойствах оператора. Легко видеть, что есть оператор: 1) типа Гильберта — Шмидта, 2) самосопряженный и 3) неотрицательно-определённый. Свойство

1 следует из квадратичной интегрируемости ядра (5.72), которая, в свою очередь, следует из того, что ограничена, а интервал интегрирования конечен. Свойство 2 следует из симметрии соответствующей (5.95). Для доказательства свойства 3 заметим, что для всякой функции Учитывая указанные свойства, можно заключить, что:

1. Собственные значения образуют счетную квадратично-суммируемую последовательность. Они вещественны и неотрицательны. Мы можем расположить их в порядке убывания:

2. Ядро может быть представлено равномерно сходящимся рядом по собственным функциям оператора

3. Собственные функция могут быть ортонормированы так, что

Далее нетрудно показать [7], что, применяя оператор к произвольной системе функций получаем

Мы убедимся в этом, если будем почленно максимизировать выражение в левой части (7.47). Сначала найдем функцию единичной нормы, которая обращает в максимум квадратичный функционал следует, что Далее найдем функцию также единичной нормы, такую, что она ортогональна к и тоже дает максимум функционалу Мы приходим к , продолжая этот процесс, для всех Для найденного оптимального базиса формула (7.41) дает

Подставив (7.45) и (7.46) в (7.48), получим далее

Резюмируя все предыдущее, можно заключить, что -мерное подпространство в оптимальное для представления реализаций случайного процесса на инвервале натянуто на собственных функций уравнения

соответствующих наибольшим собственным значениям Средний квадрат нормы ошибки есть сумма остальных собственных значений. Этот результат очень полезен, так как мы легко можем установить, сколь много можно выиграть, если добавить еще несколько членов разложения. Естественно, с увеличением Т собственные значения в общем возрастают и нужно больше членов разложения, чтобы получить приемлемую точность [8].

Разложение случайного процесса, использующее оптимальный базис,

называется разложением Карунена — Лоэва [3, 5]. Коэффициенты этого разложения есть ортогональные случайные величины, поскольку

Если — процесс с нулевым средним, то коэффициенты также имеют нулевые средние значения и они некоррелированы (линейно независимы).

Когда среднее значение процесса отлично от нуля, можно улучшить качество представления, не увеличивая числа членов, если добавить некоторое слагаемое к разложению каждой реализации. Покажем, что мы выберем наилучшим образом, если просто добавим среднее значение процесса независимо от базиса Представление

эквивалентно тому, что в (7,36) для случайного процесса мы выбрали для каждой реализации и

Математическое ожидание квадрата нормы ошибки равно

Здесь только два последних члена зависят от Из неравенства Бесселя (3.21) следует, что для любого

Ясно, что минимум достигается при Следовательно, если мы вычтем среднее значение процесса, оптимальный -мерный базис будет образован собственными функциями (с наибольшими n собственными значениями). Этот базис соответствует автокорреляционной функции процесса или, что эквивалентно, автоковар и анионной функции процесса х. В этом случае коэффициенты разложения Карунена — Лоэва имеют нулевые средние значения и некоррелированы.

Что касается методов решения уравнения (7.50), то для стационарных процессов, спектральные плотности которых есть рациональные функции, обычно используется обобщение дифференциального метода, примененного нами для решения уравнения (6.58). Такой метод

приводит к однородному дифференциальному уравнению с постоянными коэффициентами, решение которого содержит некоторое число произвольных постоянных. Последние можно найти путем подстановки полученного решения в интегральное уравнение. Подробнее этот метод изложен в [9] и [10]. Методы решения для случаев некоторых «нерациональных» ядер имеются в [11].

Упражнение 7.8. Стационарный с нулевым средним белый шум, имеющий плотность фильтруется -цепочкой с функцией передачи

а) Показать, что профильтрованный процесс имеет единичную дисперсию.

б) Показать, что математическое ожидание энергии для реализации процесса в интервале равно

в) Найти оптимальную систему базисных функций для -мерного разложения реализации процесса при

г) Определить примерное число членов разложения, такое, что при использовании оптимального базиса средний квадрат нормы ошибки будет меньше .

Указание, Покажите, что при больших собственные значения уравнения (7.50) в этом случае приближенно составляют

д) Для сравнения рассмотреть разложение по функциям типа прямоугольных импульсов. Пусть четно, а импульсы ортонормированеы: как показано на рисунке.

Сколько членов (по сравнению с оптимальным базисом) нужно взять, чтобы получить ту же среднюю точность?

Указание. Покажите, что в данном случае

и получите разложение последнего интеграла по степеням после чего используйте (7.41).