6а. Оценки максимального правдоподобия

6а. 1. Постановка задачи.

6а.1.1. Скалярный процесс.

Рассмотрим разностное уравнение относительно скалярной переменной у:

— n-мерный вектор, Часто вместо будет использоваться обозначение известные функции, наблюдаемый входной вектор размерности скалярные функции, описывающие детерминированные тренды, гауссово возмущение с нулевым математическим ожиданием. Класс одномерных динамических моделей представляется тройкой где — скалярное разностное уравнение содержащее параметр - множество

всех значений, которые может принимать множество значений, которые может принимать дисперсия шума в уравнении

Мы будем принимать обычные предположения относительно Дополнительно предполагается, что распределение шума нормальное. Гауссовость сигнала у не предполагается. Наконец, разностное уравнение будет удовлетворять допущению для каждого Однородное уравнение, отвечающее разностному уравнению асимптотически устойчиво.

При этих предположениях нетрудно показать, что для любого данного процесса существует не более чем одна модель в классе Мы укажем методы оценивания, в которых не требуется предположение о статистической независимости Предположение исключает линейные тренды. Однако многие из методов оценивания применимы, даже если в уравнении присутствуют линейные тренды, т. е. можно заменить на или Если функции одинаковы для всех то сводится к предположению в котором утверждается, что все нули соответствующего многочлена лежат вне единичного круга. В противном случае мы должны проверять каждое уравнение в отдельности, чтобы удостовериться в справедливости

Предположим, что к какому-либо моменту времени накоплена следующая совокупность наблюдений процессов , где у соответствует классу

Пусть — вектор параметров, характеризующих данную модель в классе которой описывается процесс у, и пусть соответствующая дисперсия шума. Под правилами оценивания 0 для и для основанными на мы понимаем отображения

Мы будем употреблять слова «правило оценивания» для отображения или функции, а слово «оценка» — для значения этой функции. Наша цель — найти правила оценивания согласно некоторому подходящему критерию.

6а.1.2. Векторные процессы.

Пусть обозначает систему разностных уравнений для -мерного вектора у:

или

где

известные функции времени, -мерный вектор, мерный вектор,

Вектор имеет размерность и составляется из компонент векторов Класс многомерных динамических моделей представляется тройкой где уравнение содержащее -мерный вектор в, — множество всех значений, которые может принимать вектор множество всех положительно определенных ковариационных -матриц шума имеющего нормальное распределение.

Относительно входных сигналов принимаются предположения сформулированные ранее. Во многих случаях предположение может быть ослаблено до или . В дополнение к этому, множество 36 определяется так, чтобы для уравнения при любом выполнялось условие с уравнением вместо При этих предположениях для любого данного процесса у существует не более чем одна модель в классе Так же как и для систем, описываемых одним уравнением, можно дать определения для правил оценивания параметров 6° и а также вектора параметров и ковариационной матрицы, характеризующих разностное уравнение для конкретного процесса у.

Теперь опишем два варианта правил оценивания по методу максимального правдоподобия, а затем третий — в § 6с.

6а.2. Оценки максимального правдоподобия с полной информацией.

Вся объективная информация о неизвестных и содержащаяся в совокупности наблюдений заключена в совместной плотности вероятности наблюдений и в множествах Пусть

где заданная явно функция от своих аргументов. Согласно принципу правдоподобия в качестве оценок для и рассматриваются значения максимизирующие логарифм плотности вероятности так называемую логарифмическую функцию правдоподобия:

являются оценками максимального правдоподобия на основе полной информации для и

Вообще говоря, вычислить оценки максимального правдоподобия на основе полной информации бывает довольно трудно. Например, рассмотрим следующий случай, когда и отсутствует, а у — скаляр:

Обычно плотность вероятности довольно сложная функция от как показано выше; вычисление оценок максимального правдоподобия на основе полной информации оказывается трудной задачей даже при условии, что процесс у стационарен.

Если процесс у — нестационарный, точный вид функции плотности вероятности наблюдений часто неизвестен. Кроме того, когда функция в (6а. 1.1) нелинейна, трудно бывает найти распределение вероятностей даже для стационарного процесса следовательно, плотность вероятности остается неизвестной. Далее, случайные величины могут оказаться зависимыми (вопреки сделанному предположению), и в таких случаях совместная плотность вероятности для обычно бывает неизвестной. Следовательно, в таких случаях ноизвестной является и функция По этим причинам оценки максимального правдоподобия на основе полной информации используются редко.

6а.3. Правила оценивания методом условного максимального правдоподобия в случае одномерных систем.

6а.3.1. Вид оценок условного максимального правдоподобия. Пусть

Обозначим и

Максимизация, требуемая в может быть довольно легко осуществлена, так как есть функция, квадратичная по 0:

Отсюда

Заменяя в получим так называемую сконцентрированную логарифмическую функцию правдоподобия

Мы можем максимизировать относительно приравняв нулю первую производную:

или

являются оценками условного максимального правдоподобия для и

Как видно из предыдущего, функция сравнительно легко вычисляется, если входной сигнал и отсутствует. Если и присутствует и статистически не зависит от то функция по-прежнему имеет относительно простое представление. Но если связь между неизвестна, то также неизвестна и, следовательно, оценки условного максимального правдоподобия не могут быть вычислены.

Рассмотрим связь между оценками максимального правдоподобия на основе полной информации и условного максимального правдоподобия. Имеем

в силу независимости Поэтому

Основное различие между рассматриваемыми типами оценок заключается в том, что в оценках условного максимального правдоподобия частично игнорируется вклад начальных наблюдений Поскольку мы имеем дело с асимптотически устойчивыми системами, это приближение не может сказываться на поведении в установившемся состоянии и сами по себе эти два типа оценок имеют одинаковые асимптотические свойства при условии, что статистически независимы.

Представляется, что при обработке малых выборок оценки максимального правдоподобия на основе полной информации должны быть лучше, чем оценки условного максимального правдоподобия, с точки зрения надлежащего критерия, например критерия минимума дисперсии ошибки. Однако эмпирические данные в пользу этого утверждения не слишком убедительны.

Чтобы показать различия при вычислении этих двух типов оценок, рассмотрим следующий пример (Андерсон, 1976).

Пример 6а.1. Рассмотрим процесс авторегрессии первого порядка

Для вычисления оценки максимального правдоподобия на основе полной информации предположим, что стационарный и что гауссов:

В силу того, что функция имеет довольно сложный вид, даже в этой простой задаче трудно получить явные алгебраические выражения для значений максимизирующих функцию правдоподобия.

Оценки условного максимального правдоподобия, напротив, легко определяются алгебраическим путем:

6а.3.2. Свойства оценок условного максимального правдоподобия.

(1) Существование и состоятельность. В § 4d было доказано, что матрица, обратная к матрице в (6а.3.2), существует при достаточно больших и что оценка стремится в среднеквадратическом к значению . Аналогичным образом можно доказать состоятельность оценки не привлекая предположение о нормальности.

(2) Математическое ожидание и дисперсия оценки. В гл. V было показано, что при тех же ослабленных условиях, как и в вышеприведенном свойстве (1), для математического ожидания и

дисперсии оценки справедливы следующие асимптотические выражения:

За подробностями мы отсылаем читателя к § 4d.

(3) Свойство минимума дисперсии оценки 0. В § 4d было доказано, что дисперсия оценки асимптотически равна нижней границе в неравенстве Крамера — Рао; было показано, что имеет асимптотически минимальную дисперсию.

(4) Распределение вероятностей для Напомним, что

Пусть Известно (Кашьяп, Рао, 1973; Андерсон, 1976), что плотность вероятности для есть при больших Следовательно,

при больших

(5) Распределение вероятностей для оценки 0. Пусть

Имеем

6a.3.3. Доверительные интервалы для оценки условного максимального правдоподобия.

Нам хотелось бы установить верхнюю границу для отклонения оценки условного максимального правдоподобия 0 от в вероятностных терминах. Точнее, если пренебречь событиями, появляющимися с вероятностью, не превышающей в (обычно то требуется определить область такую, что

Такую область можно пайти следующим образом. Пусть

При больших плотность вероятности для есть плотность F-распределения с параметрами

Плотность вероятности для не зависит от параметров и Используя таблицы для -распределения, можно без труда найти порог для которого выполнено условие

Пусть Равенства означают, что

Если пренебречь множеством реализаций которое может иметь место с вероятностью, меньшей, чем 0,05, то каждая числовая оценка будет попадать внутрь соответствующего эллипсоида

С другой стороны, мы можем дать равенству также следующую несколько вольную интерпретацию. Можно неточно выразиться, что с вероятностью 0,95 истинное значение лежит внутри эллипсоида с центром в точке и главными осями, определяемыми Эллипсоид с центром в 0 ( играет роль переменной) рассматривается как граница -процентной доверительной области для оценки 0.

Одним из основных достоинств этой доверительной области является информация, которую она дает об относительной точности, требуемой при вычислениях различных компонент оценки

Пример 6а.2. Пусть В этом случае Неизвестными параметрами являются и Пусть Предположим, что нам дано

Тогда приближенная оценка максимального правдоподобия для есть

Напомним, что

Следовательно,

Из таблиц -распределения находим, что но Следовательно,