Приложение С. БАЙЕСОВСКАЯ ОЦЕНКА ПАРАМЕТРА

Пусть даны вектор наблюдений параметр сигнала и условная (апостериорная) плотность вероятности и требуется найти оценку параметра . Пусть представляет произвольную функцию, непрерывную почти всюду на действительной оси. Если оценка выбирается таким образом, чтобы минимизировать величину

то оценка называется байесовской оценкой. Функция называется функцией стоимости.

Для широкого класса функций стоимости и апостериорных вероятностей было показано [1, 2], что байесовская оценка равна

Другими словами, оценкой, минимизирующей среднюю стоимость является условное среднее значение при данном наблюдении у. Докажем теперь это утверждение для трех классов функций стоимости при соответствующих ограничениях на плотность вероятности Как будет показано, чем более общим является класс функций

стоимости , тем большие ограничения должны накладываться на плотность вероятности чтобы была справедлива формула (С.2).

Случай 1.

Квадратичная функция стоимости (критерий среднеквадратичной ошибки)

Если положить то

что соответствует часто используемому критерию среднеквадратичной ошибки. Для этого случая формула доказывается просто. Обозначив получим из для любой оценки

Так как два последних слагаемых не содержат а первое явно неотрицательное, то наименьшему значению соответствует оценка

и соответствующая минимальная среднеквадратичная ошибка, следовательно, равна двум последним слагаемым

Заметим, что в данном случае какие-либо ограничения на оказались излишними.

Случай 2.

Выпуклые симметричные функции стоимости при симметричных условных плотностях вероятности

Обобщим результаты на случай любых симметричных выпуклых функций стоимости . Условие симметрии

а условие выпуклости

где

На рис. С.1 приведен пример выпуклой функции и выражение (С.7) иллюстрируется при

Рис. С. 1. Графическая иллюстрация формулы при

Для того чтобы доказать (С.2), необходимо, чтобы условная плотность вероятности была симметричной относительно ее среднего значения т. е.

Учитывая (С.6), можно представить (С.1) в виде

Если обозначить теперь

то

и из (С.8) следует, что условная плотность вероятности которую будем обозначать , симметрична относительно нуля, т. е.

Из (С.10) следует:

и, следовательно, с учетом (С.6) имеем

причем последнее неравенство вытекает из условия выпуклости (С.7) при . Неравенство (С.11) становится равенством при Следовательно, для того чтобы минимизировать функционал следует выбрать оценку

и формула (С.2) для рассматриваемого случая доказана.

Случай 3

Симметричные неубывающие функции стоимости при симметричных унимодальных плотностях вероятности

Рассмотрим теперь функции стоимости, определяемые условиями

Для выполнения условия (С.13) необходимо, чтобы функция была дифференцируема почти везде и чтобы во всех точках, в которых она дифференцируема,

Для этого класса функций стоимости необходимо не только, чтобы плотность вероятности была симметрична относительно ее среднего значения

но также, чтобы она была монотонно невозрастающей относительно (такие плотности вероятностей называются унимодальными)

и чтобы плотность вероятности при неограниченном увеличении и убывала достаточно быстро, так что

Тогда, полагая, как и прежде, , так что и обозначив получим

Тогда

Далее,

Подставив (С.20) в (С.19) и проинтегрировав по частям, получим

Произведя некоторые преобразования, легко показать, что при

Следовательно, при

Первое слагаемое в (С.22) равно нулю в силу условия (С.17), а второе слагаемое положительно вследствие условий , так что при Таким же способом можно показать, что и при Таким образом, опять средняя стоимость будет минимальной, если выбрать оценку наследует заметить, что при унимодальной плотности вероятности оценка по условному среднему также максимизирует апостериорную (условную) плотность вероятности

Наконец, следует заметить, что эти соотношения применимы не только для оценки параметров, но и для процессов. В частности, если где представляет выборку из реализации процесса , как в гл. 5, и если параметр заменить на равное выборочному значению процесса в момент , то применимы все результаты, полученные в этом приложении. Но при этом возникают затруднения, связанные с вычислением (k — -кратного интеграла

и вычислением интеграла, представляющего условное среднее Однако в приложении D будет показано, что в рассмотренном в гл. 5 случае отсутствия модуляции , где нормальные векторы, байесовскую оценку можно получить решением уравнения Винера — Хопфа дискретного вида (как это было показано в гл. 5 для случая оценки по критерию максимума апостериорной вероятности).

Литература

1. Sherman S. Non-mean-square Error Criteria. IRE Trans. Inform Theory, 1958, vol. IT-4, p. 125—126.

2. Lorens C. S., Viterbi A. J. Optimum Filtering. Jet

Propulsion Lab. External Publ. 633, Pasadena, Calif, May 15, 1959.

3. Левин Б. P. Теоретические основы статистической радиотехники, книга вторая. Изд-во «Советское радио», 1968.