6.5.3. Теория статистических оценок

Остановимся теперь подробнее на теории статистических оценок параметров распределений [8]. Так называют раздел математической статистики, в котором плотность вероятности выборки (функционал плотности распределения реализации) зависит от одного или нескольких постоянных, но неизвестных параметров. Эти параметры и необходимо оценить по выборочным значениям входной величины.

Наиболее развитыми и удобными методами нахождения оценок являются метод максимума апостериорной вероятности и метод максимума правдоподобия. Первый метод заключается в дифференцировании по параметру к (будем пока полагать его единственным) произведения априорного распределения параметра и функции правдоподобия . С точностью до множителя, не зависящего от к, это произведение является апостериорной, т. е. послеопытной, плотностью распределения параметра, что следует из известной формулы Байеса

где множитель, не зависящий от k.

Результат дифференцирования приравнивается нулю, и ищется явно зависящий от у корень полученного уравнения

который и принимается в качестве наилучшей оценки.

Согласно методу максимума правдоподобия дифференцируется функция правдоподобия, что дает так называемое уравнение правдоподобия

Его корень называется оценкой максимума правдоподобия. Хотя теория оценок была развита раньше общей теории решений, при появлении последней удалось интерпретировать теорию оценок с более общих позиций. При этом считают, что пространство решений

представляет собой отрезок прямой, на котором отложены возможные «оценки» параметра k. В качестве функций потерь обычно рассматриваются: простая функция потерь

квадратичная функция потерь

функция потерь с насыщением

или функция

Если выбрать простую функцию потерь (6.5.7), то средний риск (6.5.3) равен

Для его минимизации, эквивалентной максимизации интеграла в правой части равенства (6.5.9), необходимо, чтобы при любом фиксированном у принималось решение X, соответствующее максимуму подынтегральной функции. Иначе говоря, оптимальная оценка соответствует максимуму апостериорной вероятности, т. е. является корнем уравнения (6.5.5). Отсюда ясно, в каком смысле оптимальна оценка максимума апостериорной вероятности. Легко убедиться, что такая оценка дополнительно максимизирует вероятаостъ правильного решения. Заметим еще, что при широком априорном распределении оценка максимума апостериорной вероятности переходит в оценку максимума правдоподобия.

Возьмем теперь квадратичную функцию потерь (6.5.8). При этом средний риск (6.5.3) примет вид

Он имеет физический смысл усредненной по дисперсии ошибки измерения . Для того чтобы

минимизировать необходимо и достаточно при любом фиксированном у минимизировать выбором интеграл по в (6.5.10). Дифференцируя этот интеграл по и приравнивая результат нулю, имеем уравнение для нахождения оценки

Формальным решением (6.5.11) является условное математическое ожидание при заданном у, т. е. среднее значение апостериорного распределения:

В отличие от оператора оценки максимума апостериорной вероятности структура оператора оптимальной оценки при квадратичной функции потерь зависит от вида всей функции апостериорной вероятности.

Если задать функцию потерь какого-либо иного вида, отличного от рассмотренных, то в общем случае будут получены иные операторы. И хотя критерий минимума среднеквадратической ошибки, вытекающий из применения квадратичной функции потерь, наиболее привычен, разнообразие оптимальных решений вызывает некоторое неудовлетворение. Хотелось бы получить решение, которое было бы оптимальным для достаточно широкого класса случаев. Оказывается, что при некоторых ограничивающих предположениях теория байесовых оценок допускает такое решение.

Для выяснения этого обстоятельства в первую очередь укажем, что оценки при простой и квадратической функциях потерь совпадают, когда апостериорное распределение вероятностей — симметричная относительно некоторой точки функция. Это ясно из полученных выражений. В теории оценок строгое математическое доказательство этого факта связано со свойством эффективности оценок, под которой понимается достижение нижней грани дисперсии оценки относительно истинного значения. Показывается [8], что в некотором классе случаев оценки максимума апостериорной вероятности эффективны. Особенно часто отмечается асимптотическая

эффективность, т. е. эффективность при времени наблюдения, значительно большем интервала корреляции наиболее медленных случайных переменных смеси Доказательство эффективности тем самым одновременно устанавливает тождественность двух классов оценок.

Докажем, что при симметрии апостериорного распределения всякая симметричная функция потерь приводит одной и той же оптимальной оценке. Пусть апостериорное распределение имеет вид

где функция, симметричная относительно нуля, а функция потерь также симметрична, так что

Поскольку в точке оптимальной оценки производная от среднего риска по оценке равна нулю, то в этой точке должно удовлетворяться уравнение

Выразим в левой части этого соотношения через и положим Тогда, меняя знак аргумента интегрирования, легко убедиться, что откуда следует Это и доказывает наше положение.

Значение определяющее точку симметрии апостериорного распределения и равное любой оценке, построенной с использованием симметричной функции потерь, является, очевидно, уже знакомым условным математическим ожиданием (6.5.12). Тем самым условное математическое ожидание в широких пределах совпадает

с максимальным значением апостериорного распределения и может служить универсальной оптимальной оценкой. Таким образом, метод максимума апостериорной вероятности, а при широком априорном распределении и метод максимального правдоподобия при весьма неограничительных условиях дают единую байесову оценку измеряемого параметра.

Для дальнейшего полезно отметить одну математическую закономерность, доказываемую в теории оценок. Дело в том, что при большом времени наблюдения и при сравнительно низком уровне помех на входе логарифм функции правдоподобия (как функции параметра) близок по форме к параболической кривой, находящейся возле истинного значения параметра:

где истинное значение параметра смеси

От выборки к выборке вершина этой параболы перемещается по обеим осям, а также меняется по ширине. Естественно, что эту параболу можно разложить в любой точке, близкой к точкам истинного и максимально-вероятного значения, ограничившись всего тремя членами разложения. В любом случае мы придем к кривой, совпадающей с (6.5.13).

Если теперь перейти от логарифма к самой функции правдоподобия, то приведенные зависимости выразятся в том, что функция правдоподобия будет аппроксимирована гауссовой кривой, находящейся где-то возле точки истинного значения пульсирующей и перемещающейся от выборки к выборке. При этом, как легко показать [8], ширина кривой, характеризуемая коэффициентом остроты параболы (6.5.13) — в среднем остается равной среднеквадратическому разбросу положения ее максимального значения от истинного и оба средних значения связаны с дисперсией эффективной оценки согласно формуле

Такие закономерности имеют место для возле истинного значения параметра. Кроме основного пика функции правдоподобия имеются и побочные выбросы, происходящие как из-за неидеальных свойств сигнала, так и из-за шумовых возмущений. В теории оценок, где параметр строго постоянен, можно показать, что относительная величина боковых выбросов по мере увеличения времени наблюдения (величины выборки) постепенно уменьшается. На влиянии боковых выбросов мы несколько подробнее остановимся в § 6.6.

Полезно пояснить свойства совместных оценок нескольких параметров. Функция правдоподобия определяется в этом случае в пространстве всех измеряемых величин Разложение (6.5.13) заменяется на

Матрица, составленная из средних значений вторых производных,

характеризует «остроту» многомерного пика и иногда называется информационной матрицей Фишера. Ее значение заключается в том, что обратная к ней матрица состоит из средних вторых моментов минимальных ошибок измерения параметра, достижимых в случае существования совместно эффективных оценок. Если кодировки отдельных параметров в сигнале независимы, то диагональная матрица с элементами о., равными дисперсиям минимально достижимых ошибок измерения отдельных параметров. В этом случае смысл минимальности не требует дальнейших пояснений. Если же виды кодировки, а следовательно, и ошибки измерения взаимосвязаны, то необходимо ввести в рассмотрение многомерный эллипсоид, вторые центральные моменты которого определяются матрицей вторых моментов

ошибок измерения. Тогда введенный эллипсоид рассеяния при любом методе оценки параметров будет целиком содержать в себе эллипсоид со вторыми моментами, определяемыми матрицей , что и поясняет смысл минимальности матрицы при взаимосвязанной кодировке отдельных параметров.

Радиолокационные приложения теории оценок заключаются, в первую очередь, в следующем. В процессе отражения зондирующего радиолокационного сигнала от цели параметры плотности вероятности смеси отраженного сигнала и помех на входе приемника оказываются зависящими от координат и скорости цели. Измерив (оценив) задержку модуляции сигнала, его среднюю частоту или направление прихода, можно было бы тем самым определить необходимые координаты цели. Если в течение некоторого интервала времени эти координаты можно считать постоянными, то возникает классическая задача теории оценок: по данной реализации смеси сигнала и помех, наблюденной за данный интервал времени, определить с минимальными ошибками неизвестные параметры сигнала в этой смеси.

Первые результаты по синтезу оптимальных радиолокационных измерителей были получены именно на базе теории оценок Интервалы наблюдения выбирались такими, что в течение их координаты цели действительно оставались неизменными. В условиях, когда наиболее распространенными были импульсные радиолокаторы, структура импульсного сигнала, т. е. разбиение его на периоды следования импульсов (или пачек импульсов), давала возможность удобно разделить весь интервал наблюдения на отрезки времени, удовлетворяющие указанному требованию теории. Не интересуясь вопросами объединения данных отдельных периодов, исследовали потенциальные свойства измерения в каждом из них.

Можно указать следующие методы синтеза устройств для обработки сигналов, полученные в литературе на базе теории оценок. В работах [10, 11] и в значительном числе более поздних работ явно или неявно предполагается, что имеется возможность последовательного или параллельного нахождения значений функции правдоподобия во всей априорной области измеряемого параметра, в результате чего можно найти точку максимального

значения, являющуюся оценкой. Не стоит пояснять, что в общем случае получение осей «развертки» функции правдоподобия технически сложно, за исключением параметра в виде временной задержки модуляции.

В работах [12, 13] предложен иной, более простой, метод нахождения оценки максимального правдоподобия, основанный на предположении, что известно значение параметра отстоящее от истинного значения параметра входной смеси на величину, меньшую ширины ооновного пика функции правдоподобия. Поясним идею этого метода. Возьмем разложение логарифма функции правдоподобия типа (6.5.13) в точке продифференцировав его по X, приравняем нулю. Тогда образовавшееся уравнение правдоподобия

даст явное выражение для оценки максимума правдоподобия Я:

Таким образом, для получения нам необходимо схемно реализовать первую и вторую производные логарифма функции в точке по предположению близкой к истинному значению .

Если попытаться распространить методы синтеза, основанные на теории оценок, на случай изменяющегося параметра, то это удается сделать лишь путем известных нестрогостей. Так, предположим, что схема измерителя уже задана в виде следящей системы того типа, который изучался в § 6.2. В отношении дискриминатора постулируем, что он должен постоянно выдавать с максимальной точностью оценку рассогласования между истинным значением параметра и тем значением которое в качестве результата измерения поступает на дискриминатор с

цепей сглаживания. Как следует из оптимальной оценкой разности является величина

В условиях, когда на подынтервале осуществляется достаточное накопление, выполняется приближенное соотношение

т. е. вторая производная может быть заменена величиной, не зависящей от и оптимальная оценка рассогласования просто пропорциональна первой производной логарифма функции правдоподобия, взятой в точке

Однако такие методы синтеза следящих измерителей непоследовательны, поскольку введенные новые предположения выходят за рамки теории оценок. В то же время известно, что измерительные системы всегда синтезируются из условий компромисса между флюктуационной и динамической ошибками, причем возникновение последней из них объясняется именно переменностью параметра во времени. Желательно было бы найти оптимальную измерительную систему сразу в целом, исходя из требования минимума результирующих (сглаженных) ошибок. Такую возможность в принципе дает теория фильтрации.

Перед тем как излагать основы теории фильтрации, остановимся еще на одном применении теории оценок к проблеме оптимизации радиолокационных или других измерителей. Имеется в виду определение параметров орбит объектов, летящих по баллистическим кривым [14]. Известно, что траекторию движения центра тяжести произвольного тела в пространстве при детерминированных внешних силах определяют шесть постоянных параметров в качестве которых, в частности, могут рассматриваться координаты объекта и составляющие скорости в некоторый момент, времени. Если к выходным величинам дискриминаторов измерителей прибавить значения координат их настройки с коэффициентами,

равными крутизнам дискриминаторов, то согласно результатам § 6.2 в пренебрежении параметрическими флюктуациями будем иметь

т. е. аддитивные смеси измеряемых координат (углов, дальности) с шумами. Если учесть, что координаты зависят в свою очередь от постоянных параметров то при любом времени наблюдения мы приходим к задаче классической теории оценок. После определения параметров орбиты можно вычислить произвольные функции от этих параметров, например сами измеряемые координаты. Неявно предполагается, что наилучшие оценки параметров орбиты ведут к наилучшим измерениям координат тела. Это действительно так, если ошибки отдельных замеров малы.

В § 6.8 мы еще вернемся к задаче сглаживания данных при координатах, зависящих от постоянных известных величин.