9.3. СЛУЧАИ, КОГДА ПРИ ВЫБРАННОЙ АППРОКСИМАЦИИ ПРАВИЛА РЕШЕНИЯ АПРИОРНЫХ ДАННЫХ ДОСТАТОЧНО ДЛЯ ВЫЧИСЛЕНИЯ СРЕДНЕГО РИСКА

Этот случай не имеет каких-либо характерных особенностей, поскольку он приводит к обычной задаче отыскания минимума известной функции Методическая трудность заключается только в том,

чтобы выбрать такую аппроксимацию правила решения которая, с одной стороны, действительно обеспечила бы возможность вычисления среднего риска, а с другой — имела приемлемую эффективность или хотя бы давала уверенность в том, что сделано все возможное при заданном состоянии наших априорных значений и имеющемся объеме данных наблюдения. Рассмотрим два примера подобных задач.

Как уже отмечалось, наиболее известным примером такого рода является задача линейной фильтрации. Пусть имеющиеся данные наблюдения представляют собой последовательность а задача статистического решения заключается в оценке некоторого вектора может быть как меньше, так и больше ). Компонентами этого вектора могут быть текущие или экстраполированные значения сигнала, которые после смешивания с помехами наблюдаются в виде величин значения производных этого сигнала или любых линейных операторов над ним и Конкретное его содержание для общего решения не имеет значения

Пусть полное статистическое описание х и X — функция правдоподобия устанавливающая статистические взаимосвязи между х и X, и априорная плотность вероятности определяющая безусловное распределение вероятности X, отсутствуют; и пусть имеющиеся априорные сведения сводятся к заданию корреляционных матриц

Пусть также задана квадратичная функция потерь

где невырожденная матрица, и — решение, состоящее в оценке всех компонент вектора k.

Введем в качестве аппроксимации правила решения линейное преобразование вектора т. е.

где — матрица порядка (Во избежание возможных недоумений, связанных с тем, что всюду ради простоты и краткости мы говорили о с в правиле решения (9 2 1) как о векторе, заметим, что при желании матрицу можно вытянуть в вектор, соответствующим образом расположив ее строки или столбцы и применив для нумерации этого вектора систему двойных индексов.) Вычислим для этого правила решения математическое ожидание функции потерь по т. е. средний риск:

где матрицы А. Из этого выражения

видно, что для полного определения среднего риска нам не хватает величины но при выбранной структуре правила решения это слагаемое, зависящее от корреляционной матрицы вектора X, входит в выражение для среднего риска несущественной для определения положения его минимума константой. Поэтому знание корреляционной матрицы вектора к для нахождения оптимального значения не обязательно (хотя само минимальное значение среднего риска без нее неизвестно).

Функция квадратично зависит от с, поэтому минимизирующее значение с находится без труда и определяется известным уравнением линейной фильтрации

или в случае непрерывного наблюдения, когда — процесс заданный на интервале его непрерывным аналогом и

где

При этом правило решения — оценка определяется линейным оператором

В частности, если или экстраполяция процесса вперед или назад, фильтрация в обычном смысле, интерполяция), то если то и т. д.

Задаче линейной фильтрации посвящено громадное число работ и нет нужды останавливаться на каких-либо ее деталях. Отметим только два обстоятельства. Во-первых, как было показано в гл. 5, линейное правило решения при некоторых ограничениях является оптимальным минимаксным правилом решения задачи фильтрации при ограниченных статистических сведениях и к и в этом смысле линейная аппроксимация правила решения для задачи фильтрации является удачной, поскольку с учетом ограничений, о которых говорилось в гл. 5, она достаточно полно использует имеющиеся ограниченные априорные сведения. Во-вторых, следует подчеркнуть и ограничения, свойственные правилу решения (9.3.1) для оценки вектора k. Линейная оценка действительно является наилучшей только в том случае, когда существует линейная относительно минимальная достаточная статистика для вектора k. За редким исключением для этого требуется, чтобы вектор данных наблюдения мог быть представлен в виде аддитивной смеси какого-либо линейного преобразования вектора к и некоторой помехи т. е. где К — матрица линейного преобразования, причем и к должны иметь гауссово распределение вероятности. Если эти условия не выполняются, то линейная оценка (9.3.1) может иметь намного худшую эффективность, чем оптимальная оценка вектора k.

Чтобы показать, сколь существенные проигрыши в эффективности могут при этом возникнуть и насколько большую осторожность следует проявлять при выборе структуры аппроксимирующего правила решения (9.2.1), рассмотрим один простой пример. Пусть компоненты вектора х имеют вид

где параметр, подлежащий оценке; — совокупность независимых случайных величин, каждая из которых равномерно распределена на интервале При этом корреляционные матрицы

Где средний квадрат величины X, и решение уравнения (9.3.2) для с имеет вид

а наилучшее линейное правило решения -оценка параметра Я

Средний риск — средний квадрат ошибки определения значения X для оценки - рассчитывается без труда и равен

Он пропорционален значению среднего квадрата X и убывает обратно пропорционально объему выборки по которой построена оценка.

Если для решения этой же задачи использовать минимаксный подход или метод максимального правдоподобия, то можно получить значительно лучшую оценку, чем самая лучшая линейная оценка (9.3.3). Заметим, что рассматриваемая задача фактически совпадает с задачей оценки ширины X равномерного распределения по совокупности данных наблюдения, равномерно распределенных на интервале величин В гл. 7 было показано, что для этой задачи существует суперэффективная минимаксная оценка

основанная на достаточной статистике которой средний риск

что при больших раз меньше, чем для наилучшей линейной оценки (9.3.3).

Рассмотрим теперь пример выбора наилучшего аппроксимирующего решающего правила для задачи двухальтернативного решения. Пусть требуется принять решение или по данным наблюдения х, распределения вероятности которых известны неполностью, и пусть для определенности функция потерь

В ряде практических задач различения гипотез ограниченные априорные сведения о статистических свойствах х в обеих ситуациях могут быть заданы следующим образом: пусть известно, что при возможные значения х ограничены множеством а при множеством Если обозначить через и дополнения к этим множествам, то очевидно, что плотности вероятности удовлетворяют условиям

Обозначим через пересечение множеств через части множеств соответственно за вычетом их общей части а через рандомизированное правило решения — вероятность принять решение если наблюдается значение х. Тогда оптимальное байесово правило решения для этой задачи не требует знания плотностей вероятности на множествах соответственно и может быть записано в виде

где - некоторая функция (со значениями нуль или единица), зависящая от вида отношения правдоподобия для и требующая для своего определения знания плотностей вероятности или по крайней мере их отношения.

Пусть вместо нам известны только ограниченные статистические сведения о вероятностном поведении х на множестве значений которые сводятся к знанию полных вероятностей попадания х в множество для и т. е.

а детальный вид необходимый для нахождения отношения правдоподобия и функции неизвестен. Введем следующую аппроксимацию правила решения:

для которой без труда можно вычислить величину среднего риска при произвольных

где и - априорные вероятности ситуаций Это выражение линейно относительно с и достигает минимума при если или при если Значение и определяет наилучшее аппроксимирующее правило решения (9.3.7). Минимальная величина среднего риска для этой аппроксимации

и зависит только от вероятностей и априорных вероятностей ситуаций Правило решения (9.3.7) является «хорошим» (т. е. имеет эффективность почти такую же, как у оптимального байесова правила), если множества значений для первой и второй из возможных ситуаций или слабо перекрываются в том смысле, что по крайней мере одна из вероятностей или близка к нулю. Во всех остальных случаях проигрыш в эффективности аппроксимирующего правила решения (9.3.7) по сравнению с оптимальным зависит от поведения функций на множестве значений