5.1. ТЕОРИЯ ОЦЕНИВАНИЯ

Рассматриваемая ситуация изображена на фиг. 5.1. В этом разделе излагаются только основные идеи, более подробное обсуждение содержится в гл. И. Сосредоточим внимание на оценивании параметров. Необходимо получить правило (оператор оценивания), т. е. такую связь.

которая позволяла бы приписать неизвестному параметру рассматриваемого объекта некоторое числовое значение (оценку) Эта оценка зависит от последовательности

Фиг. 5.1.

наблюдений. Если необходимо найти набор оценок для вектора параметров объекта то эта связь описывается векторным соотношением

Свойства оценок

При оценивании существенный интерес представляет информация о рассматриваемых параметрах, в частности плотность вероятности или . Эта функция зависит от продолжительности интервала наблюдений или, что то же самое, от размера выборки k. Это показано на фиг. 5.2 для одномерного случая; Плотность вероятности представляет собой наиболее полную информацию, которую можно получить, применяя статистические методы. Однако работать с такой информацией довольно сложно и непрактично, особенно если размерность р больше двух, когда для описания результатов эксперимента требуется многомерное представление. Поэтому во многих случаях плотность вероятности заменяется ее важнейшими характеристиками:

Упрощение, связанное с заменой функций их числовыми характеристиками, можпо оценить на примерах, приведенных на фиг. 5.2, а и б. Одновременно можно получить представление об информации, сохраняющейся в результате такого упрощения. Отметим, что если бы плотность вероятности была (многомерной) плотностью гауссовского распределения вероятностей, то замена плотности вероятности на не привела бы к потери информации, так как гауссовское распределение полностью характеризуется своими первыми и вторыми моментами.

Фиг. 5.2. (см. скан)

В литературе по математической статистике (см., например, [5, 16]) перечисляются некоторые желательные свойства оценок параметров а именно:

1) несмещенность, когда для каждого к

2) состоятельность, если с ростом к

для сколь угодно малого сходится по вероятности (или стохастически) к истинному значению

3) эффективность, если для всех несмещенных оценок у

или

4) достаточность, если для всех остальных оценок не зависит от

Если первое и третье свойства выполняются только в пределе при то они называются асимптотической несмещенностью и асимптотической эффективностью. Снова обращаясь к фиг. 5.2, заметим, что там представлены случай несмещенной оценки и случай смещенной, но, быть может, асимптотически несмещенной оценки Следует отметить, что оценки отличаются еще и тем, что в них по-разному учитывается априорная информация, основанная на физической природе объекта или на априорных измерениях, включая наше «доверие» к этой информации.

Некоторые типы оценок

Для рассмотрения оценок в качестве исходной выберем ситуацию, когда имеется много априорной информации [15], а именно:

а) Известна плотность вероятности шума По ней можно рассчитать плотность вероятности измерений у, которая зависит от параметров объекта и обозначается через Понятно, что также зависит от .

б) Известна плотность распределения вероятностей параметров обозначаемая через

в) Известны потери, связанные с численной величиной оценки при истинном значении вектора параметров Эта функция потерь имеет минимум при После обсуждения этого наиболее сложного случая будут последовательно отброшены предположения в), б) и а).

Байесовские оценки. Априорная информация: Существо метода сконцентрировано

в формуле Байеса

Рассмотрим также

где

обозначает -кратный интеграл; обозначает Таким образом, при имеющейся априорной информации все члены в правой части известны.

Эту условную плотность вероятности можно интерпретировать как апостериорную плотность вероятности вектора параметров при заданных результатах измерений

Пример. Полезно иллюстрировать эти идеи на крайне простом примере. Обратимся к фиг. 5.3; нужно найти оценку параметра Эта оценка должна основываться на выборочных значениях сигналов и и где

а среднее значение равно нулю.

Пусть плотности распределений вероятностей есть Если статистически независимы, то

Фиг. 5.3.

(кликните для просмотра скана)

(фиг. 5.4). Отметим, что это априорная информация, имевшаяся до того, как были сделапы измерения и и После выполнения этих измерений выявляется новый «разрез» плотности распределения вероятностей, который определяет апостериорную плотность вероятности параметра Эта повая функция может использоваться как априорная информация для следующих измерений. Таким способом можно построить как функцию числа наблюдений (фиг. 5.5). Отметим, что при стационарном аддитивном шуме функция не меняется.

Читателю предлагается рассмотреть частные случаи и Опять метод может быть обобщен на большее число параметров, однако имеются серьезные ограничения.

Опираясь на апостериорную плотность вероятности нужно решить, какое значение приписать оценке. На фиг. 5.6 иллюстрируется одномерный случай функции потерь вида Если величина оценки, то ожидаемые потери составят

Это скалярная величина, которую можно изобразить на графике как функцию (фиг. 5.6). Таким образом, наилучшая оцонка представляет собой такое при котором эта функция принимает минимальное значение.

Приведенные рассуждения можно представить также следующим образом. У слоеный риск выбора при истинном значении вектора параметров может быть записан как математическое ожидание функции потерь по

Фиг. 5.6. (см. скан)

наблюдениям у:

Средний риск представляет собой математическое ожидание условного риска по распределению значений параметра объекта

Оценка, которая минимизирует это выражение, называется оценкой минимального риска. По формуле Байеса средний риск можно переписать в виде

Так как средний риск можно минимизировать, сделав внутренний интеграл как можно меньше при

Необходимое условие этого минимума имеет простой вид

Получаемая оценка называется байесовской, поскольку используется формула Байеса.

Пример. В качестве простого примера рассмотрим снова задачу оценивания одного параметра с использованием квадратичной функции потерь Тогда условие (5.7) принимает вид

т.е. оптимальная оценка представляет собой условное математическое ожидание величины

Так как правильно выбранная функция потерь имеет минимум при по-видимому, должна быть достаточно мала как функция в малой окрестности и поскольку

ясно, что условие (5.7) выполняется, если выбрано в окрестности того значения которое максимизирует условную вероятность (см. фиг. 5.6).

Отбросим теперь предположение в), т. е. информация о виде функции потерь отсутствует. В этом случае разумно выбирать совпадающее со значением максимизирующим В соответствии с формулой Байеса

где

По-прежнему используются предположения а) и б).

Априорная информация:

Оценки максимального правдоподобия. Теперь отбросим предположения б) Неизвестным считается и априорное распределение вероятностей параметра При этом можно положить в области возможных значений параметра В этом случае для произвольного у имеем

Здесь Ьуже не случайная величина, а неизвестный постоянный параметр; вместо вертикальной черты появляется точка с запятой. Априорная плотность вероятности имеет вид

Апостериори после измерений выборочных значений или плотность вероятности обозначается как

и называется функцией правдоподобия (см. разд. 2.3).

Пример. Опять обратимся к задаче, иллюстрированной фиг. 5.3. Известна плотность распределения вероятностей помехи В этом случае измерение и дает априорную плотность вероятности как функцию параметра (фиг. 5.7). Измерение приводит к ситуации, показанной на фиг. 5.8. По функции правдоподобия находится оценка Логично выбирать такое значение которое максимизирует

Априорная информация:

В многомерном случае необходимое условие максимума имеет вид

Фиг. 5.7.

Фиг. 5.8.

или в силу монотонности логарифма

Эту формулу называют уравнением правдоподобия. Отыскивая решение этой системы уравнений, которое обеспечивает наибольшее значение или находим оценку максимального правдоподобия (ОМП), которая широко обсуждалась в литературе. Некоторые из ее интересных свойств:

1) асимптотическая нормальность: приближается к нормальному распределению при

2) асимптотическая несмещенность; при к

3) асимптотическая эффективность достижение наилучшей точности или минимальной дисперсии, определяемой неравенством Крамера — Рао (см. гл. 11);

4) состоятельность: см. определение;

5) инвариантность: если есть ОМП параметра то

Связь разных оценок

Покажем, как связаны марковские оценки и оценки метода наименьших квадратов из разд. 2.2, которые обсуждаются в гл. 6, и оценки, рассматриваемые в этом разделе. Обратимся к фиг. 5.9 и предположим, что компоненты имеют -мерное гауссовское распределение, т. е.

фиг. 5.9.

где

Отметим, что является единственной случайной составляющей ошибки Следовательно,

Максимизация этой функции дает

или

Если матрица имеет обратную, то уравнение (5.13) можно переписать в виде

Это марковская оценка. Она имеет следующие свойства:

1) линейность:

2) несмещенность:

3) минимальная дисперсия: среди всех линейных несмещенных оценок. Эту дисперсию можно найти по формуле

Априорная информация: [пп]. Если неизвестна и ковариационная матрица шума, то удобно выбрать где дисперсия шума. Это неявно означает, что шум белый. Следовательно,

Это формула оценки по методу наименьших квадратов. Априорная информация отсутствует. Марковские оценки и оценки по методу наименьших квадратов получены из оценок максимального правдоподобия в случае гауссовских шумов. (Предположение о нормальности распределения не является обязательным. В гл. 6 эти оценки получаются независимо от этого предположения.)

Пример. Связь между разными оценками можно продемонстрировать на простом примере, иллюстрированном фиг. 5.3. Оценка метода наименьших квадратов минимизирует следующую функцию потерь:

На фиг. 5.10 показаны разности между наблюдениями у и значениями выхода модели Минимизацию можно осуществить аналитически. Необходимое условие минимума имеет вид

или

или

При зтом условии оптимальная оценка. Отметим, что в формуле (5.16) и имеют веса и

Фиг. 5.10.

Естественно, что, чем больше входной сигнал, тем больше вес расхождения между прогнозом и и наблюдением у. Формула (5.17) относится к корреляционной теории.

Некоторые другие вопросы

Простой пример на фиг. 5.3 очень хорошо иллюстрирует также так называемую проблему шума на входе. Рассмотрим систему, блок-схема которой изображена на фиг. 5.11. Ни входной, ни выходной сигналы этой системы не являются полностью наблюдаемыми. Известно [14], что, если относительно изменений не сделано специальных предположений, оценить динамику системы невозможно. Рассмотрим, например, систему вида

Допустим, что независимые случайные величины с нулевыми средними значениями. Если то в соответствии с (5.17) оценка определяется как

Однако если то, рассуждая точно так же, получим оценку в виде

Это соответствует такому выбору что средний квадрат разности между наблюдениями и и прогнозом оказывается минимальным (фиг. 5.12). Без дополнительной информации, конечно, невозможно выбрать лучшую из двух оценок.

Фиг. 5.11.

Фиг. 5.12.

Из формулы (5.17) для оценки метода наименьших квадратов, которая определяет явное или одноразовое решение, довольно просто получить итеративное решение, или решение с настройкой. Запишем выражения для к и к пар наблюдений:

Эти выражения для оценок можно переписать в виде

или

(см. скан)

Последний член представляет собой ошибку наблюдения по сравнению с выходом модели и Новая оценка состоит из старой оценки, скорректированной пропорционально ошибке Величина веса, придаваемого ошибке, зависит от величины и суммы квадратов всех предыдущих выборочных значений входного сигнала («энергетическая» характеристика входного сигнала).

Выше рассматривались только выборочные сигналы. Увеличивая число точек и уменьшая шаг дискретизации времени, можно вывести соответствующие формулы для непрерывных сигналов.

Некоторые из соотношений, связывающих различные типы оценок, представлены в табл. 5.1.