5.2.3. Оценка, минимизирующая среднеквадратичную ошибку.

В качестве функции штрафа можно использовать норму разности между случайным параметром и его оценкой т. е.

Тогда байесовский риск превращается в среднеквадратичную ошибку оценки

Поскольку подынтегральное выражение (5.56) неотрицательное, то среднеквадратичную ошибку можно минимизировать путем минимизации условного риска при фиксированном векторе наблюдений

При фиксированном оценка является неслучайным вектором Поэтому минимизация условного риска (5.57) по вектору С сводится к решению уравнения

откуда получаем

Поскольку выражение (5.59) справедливо для всех то оценка, мипимизирующая среднеквадратичную ошибку,

Выражение (5,59) хорошо известно как функция регрессии. Таким образом, оценка, минимизирующая среднеквадратичную ошибку, представляет собой вектор математического ожидания апостериорной плотности вероятности. Подставляя оценку (5.60) в формулу (5.56), можно получить значение среднеквадратичной ошибки данной оценки.

При фиксированном условный риск (5.57) равен где — ковариационная матрица случайного вектора . Так как Не является функцией вектора наблюдений то среднеквадратичная ошибка

где — компоненты вектора .

Но поводу. нижней границы среднеквадратичной ошибки существует теорема, подобная теореме Крамера — Рао о границе среднеквадратичной ошибки в случае детерминированных параметров.

Теорема. Пусть — оценка случайного параметра Тогда нижняя граница среднеквадратичной ошибки между и

0 определяется выражением

где являются абсолютно интегрируемыми по вектору наблюдений и параметру Кроме того, должно быть выполнено следующее условие:

Доказательство представляет собой модификацию доказательства теоремы Крамера — Рао и поэтому здесь опускается. Для выполнения равенства (5.62) необходимо, чтобы

где k не зависит от .

Рассмотрим частный случай, когда оценка является линейной функцией от X. В этом случае оценка, минимизирующая среднеквадратичную ошибку, выписывается в явном виде. Пусть

где A - -матрица, А - матрица. Тогда среднеквадратичная ошибка примет вид

Для того чтобы найти минимум по А, решим уравнение

В результате получим

где — взаимная корреляционная матрица между случайными векторами , a S — автокорреляционная матрица вектора наблюдений Эту оценку называют линейной оценкой. Подставляя оценку в формулу (5.66), получим среднеквадратичную ошибку этой оценки

где в силу симметрии автокорреляционной матрицы.