2.6. Оценка гауссовских параметров по  гауссовским наблюдениям

Во многих приложениях данные имеют гауссовские распределения, поэтому рассмотрим этот случай подробнее.

Совместная ПРВ n гауссовских СВ , составляющих гауссовский вектор , имеет вид

,        (2.24)

где   – вектор математических ожиданий (математическое ожидание вектора );  – матрица ковариаций. Отметим, что  V – симметричная матрица:  VT=V.  В частности, если , т. е.  , то

,                              (2.25)

где .

Оптимальная оценка

Рассмотрим задачу оценки гауссовского вектора , когда имеется гауссовский вектор наблюдений . Пусть известны все средние значения и все ковариации СВ  xi, , и  zi, . Без потери общности можно считать, что  и , так как мы можем центрировать все СВ, вычитая из них их математические ожидания. Будем искать оптимальные оценки в смысле минимума средних квадратов ошибок, т. е. при квадратичной функции потерь

.                                    (2.26)

По общей теории статистических решений (п.2.5), оптимальная оценка  в рассматриваемом случае есть оценка по методу МАП:

.                                           (2.27)

Представим  в виде (2.25). Для этого объединим  и   в один вектор , тогда                      

 ,                                              (2.28)

где ; ; ; , . Таким образом,

.              (2.29)

Максимум (2.29) достигается при минимальном значении выражения

.                                               (2.30)

Пусть

,                                     (2.31)

где K, L, M, N – матрицы размеров  , соответственно, и

M=LT. Тогда

 .    (2.32)

Для нахождения минимума (2.32) возьмем производную по  и приравняем ее к нулю: ,  , т. е.

.                                                (2.33)

Отсюда следует очень важный факт: оптимальная оценка гауссовских параметров по гауссовским наблюдениям линейна (есть линейная функция наблюдений ).

Конкретизируем оценку (2.33). Для этого воспользуемся формулой Фробениуса обращения блочных матриц [7]:

,                      (2.34)

где  и  – квадратные матрицы и . Из (2.31) и (2.34) имеем . Таким образом, оптимальная оценка (2.33) принимает вид

.                                                 (2.35)

Исследуем свойства оптимальной оценки (2.35). Найдем сначала ковариации ошибок этой оценки:

=

==

==,

.                       (2.36)

Итак, матрица Т в (2.34) есть матрица ковариаций ошибок оптимальной оценки (2.35). При этом дисперсии ошибок равны диагональным элементам матрицы Т.

Найдем ковариации ошибок оценок и наблюдений:

.

Это очень важное обстоятельство: ошибки оптимальных оценок не коррелированы с наблюдениями:

.                                          (2.37)

Отметим, что оценка (2.35) есть оптимальная линейная оценка  для любых центрированных векторов  и , т. е. это оптимальная оценка среди оценок вида , где  – любая матрица. Но эта оценка не обязательно оптимальна для негауссовских векторов.

Рассмотрим теперь важный случай оценки одного параметра, т. е. пусть   и , где  – весовой вектор оценки. Тогда (2.37) принимает вид

,

где

,   .                                    (2.38)

Из (2.38) следует, что  является решением системы линейных уравнений     

    или

     .                           (2.39)

При этом средний квадрат ошибки оценки определяется из (2.36):

.                          (2.40)

Этот средний квадрат ошибки можно представить в другом виде. Рассмотрим определитель полной ковариационной матрицы V (наблюдений и оцениваемых параметров):

.                                                      (2.41)

Умножим слева матрицы нижнего ряда на  и вычтем полученные произведения из матриц верхнего ряда (определитель при этом не изменится):

.

Из (2.40), (2.41) и последнего равенства следует, что

,                                  (2.42)

т. е. средний квадрат ошибки оценки равен отношению определителя полной ковариационной матрицы к определителю ковариационной матрицы наблюдений.

Пример 1.  Рассмотрим оценку гауссовского сигнала x с параметрами (0, s2) по зашумленному наблюдению z=x+q, где q – гауссовский шум с параметрами (0, s2q), независимый от x. В нашем случае, используя (2.35), получаем

,, .

Итак, оптимальной оценкой является

.                                                              (2.43)

Дисперсию ошибки этой оценки получим из (2.36):

,

или, по-другому, из (2.42):

.

Геометрическая интерпретация оптимальной оценки.

Лемма об ортогональном проектировании

Равенству (2.37) можно придать геометрический смысл. Будем считать центрированные СВ элементами (векторами) векторного пространства, в котором введено скалярное произведение . Векторы  x  и  y  ортогональны, если (xy)=0, т. е. если x и y не коррелированы. Множество всех линейных комбинаций вида  есть линейное пространство Z, натянутое на пространство наблюдений (коротко – пространство наблюдений). Оптимальную линейную оценку, таким образом, нужно искать в пространстве наблюдений. Оптимальной является оценка , при которой значение  минимально,  т. е.

принимает минимальное значение. Следовательно, длина вектора  должна быть минимальной. Этот минимум достигается, если вектор  ортогонален к пространству Z, а, следовательно, и к каждому из векторов z1, z2, …, zn, что, собственно, и означает равенство (2.37). Отсюда получаем следующее утверждение.

Лемма об ортогональном проектировании.  Оптимальная линейная оценка  параметра x по наблюдениям  есть ортогональная проекция x на пространство наблюдений Z. Она удовлетворяет равенству (2.37), а в общем случае оценки  векторного параметра  – равенству

.

Оптимальная оценка как условное среднее

Рассмотрим снова задачу оценки параметра x по наблюдениям  при квадратичной функции потерь, не предполагая гауссовость x и . Тогда оптимальная оценка  находится из условия минимума

,                                      (2.44)

где используется условное среднее при заданных наблюдениях. При этом . Приравнивая производную от (2.44) по  к нулю, получаем

, .

Для векторного параметра аналогично:

.                                        (2.45)

Таким образом, оптимальная оценка в смысле минимума среднего квадрата ошибки есть условное математическое ожидание оцениваемого параметра при заданных значениях наблюдений. Оценка (2.27) есть частный случай оценки (2.45). Действительно,

,                                       (2.46)

поэтому максимум  по  достигается в той же точке, что и максимум . Следовательно, (2.45) можно заменить на

.                                         (2.47)

Но у гауссовских распределений максимум ПРВ приходится на среднее значение, поэтому оптимальная оценка и есть условное среднее.