5.4. ОГРАНИЧЕННЫЕ СВЕДЕНИЯ О СТАТИСТИЧЕСКИХ ХАРАКТЕРИСТИКАХ

Рассмотрим теперь случай, когда в соответствии с § 3.1 ограниченные априорные сведения о X заключаются в знании ряда статистических характеристик X (а не полного распределения вероятности), таких, как среднего значения, дисперсии, корреляционной матрицы и т. д., т. е. математических ожиданий некоторой совокупности функций Класс возможных распределений вероятности X в этом случае определен с помощью ограничений (3.1.4), где

индекс пробегает столько значений, сколько задано условий. В остальном же плотность распределения остается произвольной.

Для отыскания минимаксного правила решения с учетом заданных ограничений на класс о возможных распределений вероятности X воспользуемся соотношением (5.1.1) и найдем наименее предпочтительное распределение из этого класса. Тогда байесово правило решения для этого распределения X будет минимаксным. Ограничимся случаем непрерывных множеств X и и.

Пусть байесово правило решения относительно некоторого априорного распределения X с плотностью 0, получаемое с помощью обычной процедуры минимизации среднего риска Используем для отыскания наименее предпочтительного распределения метод Лагранжа, позволяющий учесть ограничения (3.1.4) на класс допустимых распределений вероятности. При этом плотность наименее предпочтительного распределения определяется из условия максимума функционала:

где а но, неопределенные множители, выбор которых должен обеспечить выполнение заданных ограничений (3.1.4) на т. е.

заданные значения математических ожиданий функций

Вычислим вариацию функционала по функции

где вариация функции вариация решающей функции по функции которая, очевидно, не зависит явно от X, а зависит только от — градиент функции потерь по решению и. Поскольку в (5.4.2), т. е. является байесовой решающей функцией относительно распределения X с плотностью минимизирует средний риск

то из условия обеспечения минимума для этого решения следует выполнение равенства

Поэтому второе слагаемое в (5.4.4) обращается в нуль при любой Из условия обращения в нуль вариации среднего риска (5.4.4) следует уравнение для условного риска

которое позволяет сформулировать следующее правило нахождения наименее предпочтительного распределения:

— для того чтобы распределение с плотностью вероятности было наименее предпочтительным в классе распределений удовлетворяющих заданным ограничениям (5.4.3), условный риск для байесова правила решения относительно этого распределения должен иметь функциональную зависимость от X, определяемую выражением (5.4.6).

Это утверждение обобщает требование независимости условного риска от X, вытекающее из теоремы Вальда, при полном отсутствии априорных сведений о Последнее является естественным частным случаем (5.4.6), когда ни одной функции не задано и сумма по в правой части (5.4.6) отсутствует. Конкретный вид наименее предпочтительного распределения (плотности и соответствующего ему минимаксного правила решения зависит от заданных ограничений, а также от вида функции правдоподобия и функции потерь , однако соотношение (5.4.6) позволяет найти и минимаксное правило решения для многих важных с практической точки зрения случаев.

Рассмотрим один из таких примеров, когда является -мерным вектором, решение оценкой и задана корреляционная матрица X

а в остальном распределение X неизвестно и может быть произвольным.

При этом совокупность всех произведений а уравнение (5.4.6) для условного риска принимает вид

где множители определяются из условий

Таким образом, оценка соответствующая ограниченным априорным знаниям только корреляционной матрицы к, является оптимальной, если она байесова относительно априорного распределения вероятности к, для которого корреляционная матрица равна заданной, а условный риск для этой оценки представляет собой сумму постоянной величины и квадратичной формы к вида

Покажем, что при некоторых предположениях наименее предпочтительным является нормальное распределение k. Пусть функция потерь квадратичная, т. е.

где произвольная матрица, и пусть существует достаточная статистика для которой хотя бы приближенно

где определитель матрицы А (При этом без ограничения общности можно полагать Достаточная статистика является оценкой максимального правдоподобия вектора к, а представление (5 4 10) требует, чтобы она была несмещенной и распределена нормально (хотя бы приближенно). Матрица А в -это так называемая информационная матрица Фишера, которая определяется следующим образом.

где математическое ожидание вычисляется при фиксированном k. Она характеризует рассеяние оценки максимального правдоподобия и потенциально достижимую точность оценивания к в отсутствие всяких априорных сведений о k. Обратная ей матрица является корреляционной матрицей ошибок для эффективной оценки к, которой при данном представлении является оценка максимального правдоподобия — достаточная статистика

Рассмотрим нормальное распределение вероятности X с корреляционной матрицей и найдем для него байесову оценку. Средний риск в этом случае равен

где матрица, обратная и в силу того, что является достаточной статистикой и оптимальное решение может зависеть от х только посредством осуществлен переход от полной совокупности данных наблюдения х к достаточной статистике оценке максимального правдоподобия вектора Минимум среднего рисха (5.4.12) достигается, если и является условным (при заданном значении ) математическим ожиданием X, т. е. байесово правило решения имеет вид

где матрица определяется уравнением

Найдем теперь условный риск для этого правила решения:

где I — единичная матрица; след матрицы

Как видно из (5.4.15), условный риск имеет требуемый вид (5.4.7). Это означает, что нормальное распределение вероятности является наименее предпочтительным, а сама оптимальная оценка имеет вид (5.4.13), т. е. является линейным преобразованием оценки максимального правдоподобия. Матрица линейного преобразования С зависит от

корреляционной матрицы вектора X и корреляционной матрицы ошибок для оценки вектора X методом максимального правдоподобия.

Минимаксный риск для заданного класса о распределений вероятности X имеет следующее значение:

где след матрицы т. е. сумма ее диагональных элементов. Он всегда меньше минимаксного риска при полном отсутствии сведений об априорном распределении X, который в условиях справедливости (5.4.10) равен Значение риска (5 4.16) для правила решения (5.4.13) достигается, очевидно, также при любом распределении для которого корреляционная матрица равна

Представление функции правдоподобия (5.4.10) заведомо выполняется в том случае, когда совокупность нормальных случайных величин с корреляционной матрицей т. е. если данные наблюдения х представляют собой аддитивную смесь вектора X с гауссовой помехой

Если при этом известна корреляционная матрица X, то этому случаю соответствует известная постановка задачи линейной фильтрацил. Ее винеровское решение имеет вид (5.4.13), (5.4.14), а полученные выше результаты позволяют установить минимаксный смысл этого решения: если никаких других сведений о X, кроме корреляционной матрицы, нег" то никакого лучшего (в смысле квадратичной функции потерь) по сравнению с линейным оператором (5.4.13) оператора фильтрации не существует и только более подробные статистические сведения могут привести к изменению структуры оптимального оператора фильтрации.

Можно проиллюстрировать использование уравнения нахождения минимаксных оптимальных оценок еще большим количеством случаев. Например, пусть индекс для имеет смысл дискретного времени и для всех заданы срецние квадраты изменения за один шаг, т. е.

При переходе к непрерывному времени это будет означать задание среднего квадрата производной процесса для любого момента времени в интересующем нас интервале.

Уравнение (5.4.6) при этих ограничениях на распределение X принимает вид

Если задан второй момент для начального значения та к правой части этого выражения следует прибавить еще один член Аналогично рассмотренному выше случаю можно убедиться, что при этих ограничениях наименее предпочтительным является распределение для марковской случайной последовательности с переходной плотностью вероятности

и с равномерным распределением для начального значения когда величина не задана, либо нормальным распределением вероятности для с дисперсией если последняя задана. В обоих случаях оптимальная минимаксная оценка (оптимальный алгоритм фильтрации) находится без труда с помощью достаточно разработанных для подобных задач методов получения байесовых оценок.