9.5. ПРИМЕР ЗАДАЧИ ОЦЕНКИ ПАРАМЕТРА ПО ДАННЫМ НАБЛЮДЕНИЙ ПРИ ИЗВЕСТНОЙ КОРРЕЛЯЦИИ МЕЖДУ х И X

Проиллюстрируем рассмотренную выше возможность на примере той же задачи фильтрации, что и в § 9.3, или в более общей формулировке на примере задачи оценки полезного параметра по данным наблюдения Еновь зададим линейное правило

решения (9.3.1) и рассмотрим еще раз выражение для среднего риска для квадратичной функции потерь

Из него видно, что для того чтобы получить зависимость обеспечивающую возможность применения операции эмпирического усреднения по данным наблюдения х, достаточно знать только взаимную корреляционную матрицу т. е.

Тогда с точностью до несущественной константы не зависящей от

а оценка среднего риска эмпирическим усреднением выражения (9.5.2) по х.

Задание только корреляционной матрилы означает дальнейшее уменьшение имеющихся априорных сведении по сравнению со случаем § 9.3. При этом корреляционные свойства наблюдаемой последовательности (наблюдаемого сигнала) неизвестны, а известна только взаимная корреляция х с параметрами подлежащими оценке (полезным сигналом, подлежащим выделению при фильтрации).

Простейшим примером, когда матрица неизвестна, а матрица известна, является случай, при котором наблюдаемый вектор х представляет собой аддитивную смесь к с некоторой помехой т. е. причем некоррелированы, а корреляционная функция к полезного сигнала известна. При этом, очевидно, Незнание которая в данном случае равна означает отсутствие сведений о корреляционных свойствах помехи. Используем результаты § 9.4, имея в виду, что в данном случае рекуррентная процедура (9.4.1), (9.4.3) дает точные результаты. Применяя к выражению (9.5.2) операторы и учитывая, что положительно определенная симметричная матрица, получаем следующие рекуррентные соотношения для нахождения наилучшей матрицы линейного преобразования (9.3.1):

в которые превращаются в данном случае общие соотношения (9.4.1), (9.4.3). С учетом специфического вида матрицы можно несколько усовершенствовать эту процедуру, избавившись от необходимости обращения на каждом шаге матрицы Действительно, из второго рекуррентного соотношения (9.5.3) следует рекуррентное соотношение для обратной матрицы выступающей в качестве весовой матрицы в первом из рекуррентных соотношений (9.5.3):

Процедура (9.5.3) с весовой матрицей из (9.5 4) обеспечивает нахождение наилучшего значения с при всяком и полностью использует имеющиеся эмпирические данные (последовательность Если допустима некоторая потеря эффективности, то вместо (9.5.3) можно использовать процедуру стохастической аппроксимации Робинса—Монро с заменой в первом из соотношений (9.5.3) матрицы диагональной матрицей где последовательность неотрицательных числовых коэффициентов удовлетворяет условиям (8.2.18), (8.2.19). При этом последовательность определяемая рекуррентным соотношением

при сходится к значению с из (9.3.2), однако при любом отклонение с из (9 5.5) от с больше, чем отклонение решения (9.5.3) от оптимального значения с.

Рассмотрим теперь применение конечного метода для нахождения наилучшего значения Согласно (9.5.2) эмпирическая оценка среднего риска связана простым соотношением с эмпирической оценкой корреляционной матрицы

Действительно, если эмпирическая оценка корреляционной матрицы то

и уравнение для наилучшего значения с отличается от уравнения (9.3.2) только заменой неизвестной корреляционной матрицы ее оценкой

Последнее уравнение может быть решено любым из способов, применяемых при решении уравнения (9.3.2), в частности прямым обращением эмпирической корреляционной матрицы При этом

или

где матрица, обратная т. е.

(I — единичная матрица).

Способ получения эмпирической оценки корреляционной матрицы и среднего риска и необходимый для этого объем эмпирических данных (данных обучения) зависит от того, какие имеются дополнительные сведения о статистических свойствах данных наблюдения вектора по которому формируется оценка вектора k. Если о свойствах последовательности ничего

неизвестно, то для получения оценки среднего риска необходимо иметь совокупность независимых значений вектора

Пусть имеется таких значений (при этом общий объем эмпирических данных составляет различных величин), тогда оценкой корреляционной матрицы через которую определяется оценка среднего риска и наилучшее значение с, является

Подстановка этого выражения в (9.5.7) или обратной матрицы в (9.5.8), (9.5.9) завершает решение задачи по нахождению наилучшего значения При этом благодаря состоятельности оценки (9.5.11) для корреляционной матрицы решение уравнения (9.5.7) является состоятельной оценкой для оптимального значения и при сходится к этому значению. Нужно отметить, что фактически в данном случае рекуррентная процедура (9.5.3) в вычислительном отношении существенно уступает конечному методу: для нахождения из (9.5.3) требуется выполнить четыре операции матричного умножения и две операции сложения вместо одной операции умножения для (9.5.8) или (9.5.9) при равных затратах на получение значения матрицы

Поэтому даже в том случае, когда требуется найти последовательность значений для различных более экономно для каждого решать уравнение (9.5.7) конечным способом, а не с помощью рекуррентного соотношения (9.5.3). Мы специально останавливаемся на этом, чтобы предостеречь читателя от чрезмерного увлечения рекуррентными процедурами, которые подчас рекламируются как единственно адекватный способ нахождения параметров правил решения (алгоритмов обработки информации) в задачах синтеза с априорной неопределенностью. Рекуррентные процедуры на самом деле имеют громадное значение, однако в тех случаях, когда удается получить решение в конечном виде, соответствующий конечный метод часто оказывается более экономным в вычислительном отношении, чем рекуррентная процедура.

Предположим теперь, что имеется дополнительная априорная информация о статистических свойствах данных наблюдения х, а именно известно, что вектор образует подпоследовательность некоторой эргодической случайной последовательности. Другими словами, любая из случайных величин является значением эргодического случайного процесса с дискретным временем. Наличие этих априорных сведений позволяет ослабить требования к составу и объему эмпирических данных, необходимых для получения состоятельной оценки среднего риска

Вместо совокупности независимых значений вектора каждое из которых содержит компонент в данном случае достаточно располагать сравнительно длинной последовательностью, составленной из величин х

Действительно, благодаря стационарности матрица содержит не различных элементов как в случае

произвольного вектора всего элементов, поскольку зависит только от модуля разности который для изменяется в пределах от 0 до Все эти элементы могут быть оценены по единственной эргодической последовательности величин длина которой больше размерности вектора х данных наблюдения.

Итак, будем считать, что имеются дополнительные эмпирические данные уже не в виде последовательности векторов а в виде последовательности значений случайных величин длиной т. е. Тогда для любого элемента матрицы можно построить состоятельную оценку

которая подставляется далее в уравнение (9.5.7) для определения наилучшего значения

Оценка (9 5.12) наиболее полно использует имеющиеся эмпирические данные, которые содержат, вообще говоря, разное количество информации для разных наибольшее для и наименьшее для Если то оценку для можно несколько затрубить, вычисляя для всех значений арифметическое среднее по одному и тому же количеству произведений. При этом можно представить в виде

или, введя вектор-столбец

переписать это выражение в следующей матричной форме:

совершенно аналогичной (с точностью до числа суммируемых членов) по виду оценке (9.5.11), но принципиально отличающейся от нее тем, что вместо независимых векторов в оценку (9.5.15) входят зависимые векторы (9.5.14), представляющие собой последовательность поочередно сдвигаемых на один шаг отрезков длиной общей эмпирической последовательности Все дальнейшее ничем не отличается от предыдущего случая. В частности, остаются неизменными рекуррентные соотношения (9.5.3) — (9.5.5) при переходе к процедуре Робинса — Монро.