2.4.3. Оценка нескольких параметров

Во многих интересующих нас задачах возникает необходимость оценки более чем одного параметра. Известным примером может служить радиолокационная задача, в которой требуется оценить дальность и скорость цели. Большинство понятий и методов можно непосредственно распространить на этот случай. Модель задачи показана на рис. 2.23.

Рис. 2.23. Модель процедуры оценки нескольких параметров.

Если имеется К параметров то их описывают параметрическим вектором а в -мерном пространстве. Остальные элементы модели такие же, как и ранее. Мы рассмотрим как случай, когда а является случайным параметрическим вектором, так и случай, когда а является действительным или неслучайным параметрическим вектором. Три вопроса представляют интерес. В каждом из них результатом является вектор, аналогичный результату в скалярном случае.

1. Процедуры оценки.

2. Меры ошибки.

3. Границы ошибки при оценке.

Процедура оценки. Для случайных величин можно рассмотреть общий случай байесовской оценки, когда минимизируется риск для некоторой произвольной скалярной функции стоимости Однако

для наших целей достаточно рассмотреть только функции стоимости, которые зависят от ошибки. Вектор ошибки определяется как

Для критерия среднего квадрата ошибки функция стоимости равна

т. е. сумме квадратов ошибок. Риск равен

или

Как и ранее, мы можем минимизировать внутренний интеграл для каждого Поскольку все члены суммы положительны, минимизируем их раздельно. Это дает

или

Нетрудно показать, что процедура среднеквадратической оценки коммутативна относительно линейных преобразований. Так, если

где есть матрица а нам необходимо минимизировать

то результат будет

(Для доказательства (237) см. задачу 2.4.20).

Для оценки по максимуму апостериорной вероятности необходимо найти то значение А, которое максимизирует Если этот максимум является внутренним и в точке максимума производная существует, то необходимое условие получается

из уравнений максимальной апостериорной вероятности. По аналогии с (137) возьмем логарифм от продифференцируем по каждому параметру и приравняем результат нулю. Это дает систему К уравнений:

Если ввести матричный оператор частных производных

то (238) можно записать более компактно. Этот оператор применим только к матрицам вида Например,

Несколько полезных свойств оператора были развиты в связи с задачами 2.4.27 - 2.4.28. В нашем случае (238) превращается в одновекторное уравнение:

Аналогично для оценок по максимальному правдоподобию необходимо отыскивать то значение А, которое максимизирует Если максимум является внутренним и в точке максимума производная существует, то необходимое условие получается из уравнений правдоподобия

В обоих случаях необходимо убедиться, что максимум является абсолютным.

Меры ошибки. Для неслучайных величин первой интересующей нас мерой является смещение. Теперь, однако, смещение является вектором:

Если каждая компонента вектора смещения равна нулю для всех значений А, то говорят, что оценка является несмещенной.

В случае одного параметра грубой мерой рассеяния ошибок служила дисперсия оценки. В частном случае, когда имела нормальное распределение, это обеспечивало полное описание

Для векторной случайной величины величина, аналогичная дисперсии, есть ковариационная матрица

где

Лучший способ определить, каким образом ковариационная матрица обеспечивает меру рассеяния ошибок, — это рассмотреть частный случай, когда имеют совместное нормальное распределение. Ради простоты алгебраических выкладок положим Совместная плотность вероятности для системы К, величин с совместно нормальным распределением равна

(например, стр. 179 у Давенпорта и Рута [1]).

Плотность вероятности для показана на рис. 2.24, а. На рис. 2.24, б, в показаны контуры равной вероятности для двух типичных распределений. Из (247) следует, что равновысотные контуры определяются соотношением

которое при представляет собой уравнение эллипса. Эллипсы раздвигаются монотонно с увеличением С. Они также обладают тем интересным свойством, что вероятность нахождения внутри эллипса является функцией только

Свойство. Для вероятность того, что вектор ошибки лежит внутри эллипса, уравнение которого

есть

Доказательство. Площадь, заключенная внутри эллипса, определяемого уравнением (249), равна

Дифференциальная площадь, заключенная между эллипсами, которые соответствуют равна

Высота плотности вероятности в этой дифференциальной площади равна

Мы можем вычислить вероятность нахождения точки вне эллипса путем умножения (252) на (253) и интегрирования в пределах от С до

что и требовалось доказать.

По этой причине эллипсы, описываемые уравнением (248), называются эллипсами концентрации (эллипсами рассеяния), так как они служат мерой концентрации плотности.

Рис. 2.24. Нормальные распределения: а — двумерное распределение; б - равновысотные эллипсы, коррелированные величины; в — равновысотные эллипсы, некоррелированные величины.

Аналогичный результат справедлив и для произвольного К. В этом случае, однако, (248) описывает эллипсоид. Здесь дифференциальный объем в -мерном пространстве равен

Значение плотности вероятности на эллипсоиде равно

Следовательно,

что и требовалось доказать. Эти эллипсоиды называются эллипсоидами концентрации (эллипсоидами рассеяния).

Когда плотность вероятности ошибки не является гауссовой, эллипсоид рассеяния не задает однозначную вероятность. Это находится в прямой аналогии с одномерным случаем, когда дисперсия негауссовой случайной величины, имеющей нулевое среднее, не определяет собой плотность вероятности. Тем не менее можно интерпретировать эллипсоид рассеяния как грубую меру разброса ошибок. Когда эллипсоиды рассеяния данной плотности лежат целиком вне эллипсоидов рассеяния другой плотности, говорят, что последняя является более концентрированной, чем первая. Имея это в виду, выведем некоторые свойства и границы, имеющие отношение к эллипсоидам рассеяния.

Границы ошибок оценки. Неслучайные величины. В этом параграфе мы установим две границы. Первая связана с дисперсией отдельной ошибки, вторая — с эллипсоидом рассеяния.

Свойство 1. Рассмотрим любую несмещенную оценку Тогда

где является элементом квадратной -матрицы Элементы матрицы суть

или

Матрица обычно называется информационной матрицей Фишера. Знак равенства в (258) соблюдается тогда и только тогда, когда

при всех значениях

Другими словами, ошибка оценки может быть выражена как взвешенная сумма частных производных функций по различным параметрам.

Доказательство. Так как является несмещенной, то

или

Дифференцируя обе части по имеем

Докажем свойство 1 для Определим -мерный вектор как

Ковариационная матрица имеет вид

[Единицы и нули в данной матрице следуют из (264).] Поскольку это ковариационная матрица, она является неотрицательно определенной, откуда следует, что определитель полной матрицы больше или равен нулю. (Это условие является только необходимым, но недостаточным, так как матрица неотрицательно определенная.)

Оценивая определитель при помощи разложения на алгебраические дополнения, получим

где алгебраическое дополнение элемента определителя матрицы

Если предположить, что матрица является несингулярной, то

что и требовалось доказать. Модификации для случая, когда матрица является сингулярной, нетрудно получить для любой конкретной задачи.

Чтобы определитель был равен нулю, член должен выражаться посредством линейной комбинации других членов. Эта есть условие, описываемое соотношением (261). Вторая строка (259) выводится из первой совершенно аналогично доказательству (189) — (192). Доказательство для случая есть очевидная модификация приведенного.

Свойство 2. Рассмотрим какую угодно несмещенную оценку А. Эллипс концентрации

лежит либо вне, либо на граничном эллипсе, определяемом уравнением

Доказательство. Разберем подробнее случай По аналогии с предыдущим доказательством построим ковариационную матрицу соответствующего вектора:

Тогда

Второе уравнение определяет разбиение матрицы на четыре матрицы Будучи ковариационной матрицей, эта матрица является неотрицательно определенной. Используя формулу для определителя разделенной матрицы, имеем

или, полагая, что — несингулярная матрица, и применяя правило произведения для определителей,

Отсюда следует, что

Теперь рассмотрим два эллипса. Координаты точек пересечения с осью действительного и граничного эллипсов рассеяния соответственно равны

Мы хотим показать, что координата точки пересечения действительного эллипса больше или равна координате граничного эллипса. Для этого необходимо

Это неравенство выполняется потому, что определитель матрицы в верхнем левом углу (272) больше или равен нулю. В противном случае полная матрица не является неотрицательно определенной (см. [16] или [18]). Точно таким же образом, координата действительного пересечения на оси больше или равна координате граничного пересечения. Поэтому действительный эллипс либо всегда находится вне граничного эллипса или на нем, либо оба эллипса пересекаются.

Если они пересекаются, то, как видно из (269) и (270), должно быть решение уравнения

или

В скалярной записи

или, что эквивалентно,

Решая относительно мы получили бы действительные корни только в том случае, если бы определитель был больше или равен нулю, а для этого требуется, чтобы

Но неравенство (283) противоречит (275). Единственной возможностью является но это справедливо только тогда когда эллипсы совпадают. В этом случае все оценки являются эффективными.

Для произвольного К можно показать, что матрица есть неотрицательно определенная. Рассуждения относительно эллипсоидов рассеяния остаются такими же, как и для случая

Часто требуется оценить функции К базисных параметров, а не сами параметры. Обозначим искомые оценки как

или

Число оценок не связано с К вообще. Функции могут быть нелинейными. Ошибка оценки равна

Если мы предположим, что оценки являются несмещенными, и обозначим ковариационную матрицу ошибок через то при помощи методов, идентичных тем, которые использовались выше, можно доказать следующие свойства.

Свойство 3. Матрица

является неотрицательно определенной.

Отсюда вытекает следующее свойство (для этого достаточно развернуть вторую матрицу и вспомнить, что все диагональные элементы неотрицательно определенной матрицы неотрицательны).

Свойство 4:

В частном случае, когда требуемые функции являются линейными, результат (287) можно записать в более простой форме.

Свойство 5. Допустим, что

где матрица Если оценки несмещенные, то матрица

является неотрицательно определенной.

Свойство 6. Эффективность оценок сохраняется при линейных преобразованиях и не сохраняется при нелинейных преобразованиях. Другими словами, если а — оценка эффективная, то будет эффективной тогда и только тогда, когда есть преобразование линейное.

Границы оценок. Случайные параметры. Точно так же, как и в случае одного параметра, границу для случайных параметров получают простой модификацией вывода для случая детерминированных

параметров. Информационная матрица в этом случае состоит из двух частей:

Матрица есть информационная матрица, определяемая (260): она отображает собой информацию, полученную из результатов наблюдений. Матрица представляет априорную информацию. Ее элементами являются

Корреляционная матрица ошибок имеет вид

Ее диагональные элементы представляют среднеквадратические ошибки, а недиагональные — взаимнокорреляционные функции ошибок. Три свойства непосредственно вытекают из изложенного. Свойство 1:

Другими словами, диагональные элементы в матрице, обратной полной информационной матрице, суть нижние границы соответствующих средних квадратов ошибок.

Свойство 2. Матрица

является неотрицательно определенной. Это свойство имеет такую же физическую интерпретацию, как и в задаче с неслучайным параметром.

Свойство 3. Если то все оценки являются эффективными. Необходимое и достаточное условие справедливости этого утверждения заключается в нормальности распределения для всех а это выполняется при условии, что - величина постоянная. [Достаточно видоизменить (261), (228).]

Представляет интерес частный случай, когда априорная плотность является нормальной плотностью порядка. В этом случае

где ковариационная матрица случайных параметров.

Еще более простой случай имеет место, когда случайные величины являются независимыми и нормальными. Тогда

При указанных условиях априорная информация оказывает влияние только на диагональные элементы

Результаты, аналогичные свойствам 3—6 для неслучайных параметров, могут быть получены и для случайных параметров.