7.1.7. Описание «благоприятных» оценочных ситуаций; доверительные области

Функция правдоподобия строится, конечно, не только для того, чтобы показать максимальные значения правдоподобия. Эта функция в целом содержит весь объем информации, приходящей с данными. В некоторых проблемах возникает ситуация, когда  функция правдоподобия имеет два и более максимума (см, например, [60]), а также имеет острые «хребты» и «пики». Все эти ситуации имеют разумную интерпретацию. В каждом случае функция правдоподобия содержит то, что нам следует знать. Так, существование двух максимумов приблизительно равной высоты указывает, что здесь имеются две группы значений параметров, которые могут объяснить данные. Существование косо ориентированных хребтов говорит о том, что значение одного из параметров, заметно отличное от его значения в точке максимального правдоподобия, может объяснять данные, если при этом изменить нужным образом значение другого параметра. Характеристики такого рода определяют то, что можно называть оценочной ситуацией. Чтобы лучше уяснить суть этого понятия, нужно исследовать функцию правдоподобия и аналитически, и графически.

Рисунок 7.5. Изолинии сумм квадратов для рядов  и  (затененные части — области, где ряды необратимы)

Необходимость соблюдения осторожности при интерпретации функции правдоподобия. Необходимо быть осторожным при интерпретации функции правдоподобия. Например, результаты, рассмотренные ниже и основанные на предположении, что логарифмическая функция правдоподобия вблизи ее максимума близка к квадратичной функции, явно не применимы к ситуациям оценивания трех параметров, показанным на рис. 7.5. Однако эти примеры не типичны, поскольку мы умышленно переусложнили модель. Если справедлива более простая модель, мы должны ожидать, что изолинии функции  правдоподобия будут усечены вблизи максимума некоторой границей в пространстве параметров более высокой размерности. Квадратичная модель может быть использована, если подгонялась более простая идентифицированная, а не излишне усложненная модель усечены вблизи максимума некоторой границей в пространстве параметров более высокой размерности. Квадратичная модель может быть использована, если подгонялась более простая идентифицированная, а не излишне усложненная модель.

Рисунок 7.6. Гипотетическая функция правдоподобия с ограничением

Особая осторожность необходима, когда максимум функции правдоподобия может лежать на границе или около нее. Рассмотрим ситуацию, показанную на рис. 7.6, и положим известным априори, что параметр . Максимальное правдоподобие внутри допустимой области значения  достигается в точке , где , а не в  или . Отметим, что первая производная функции правдоподобия в этом случае не равна нулю в максимуме и квадратичная аппроксимация определенно не является адекватным представлением функции правдоподобия.

Использование метода правдоподобия в прошлом часто было не слишком умелым, и неопытность потребителя иногда ошибочно истолковывалась как слабость метода. Это использование обычно включало

1) дифференцирование логарифмической функции правдоподобия и приравнивание первых производных нулю для получения оценок максимального правдоподобия (МП);

2) получение приближенных дисперсий и ковариаций этих оценок по вторым производным логарифмической функции правдоподобия или их математическим ожиданиям.

Формальное применение этих приемов может привести к бессмысленным результатам. Это, во-первых, связано с тем элементарным фактом, что приравнивание производных нулю может не приводить нас к максимуму, и, во-вторых, с тем, что информация, содержащаяся в функции правдоподобия, выражается полностью оценками МП и вторыми производными этой функции, только если в интересующей нас области применимо квадратичное приближение. Узнать, выполняется ли это условие для новой задачи оценивания, можно обычно только путем тщательного аналитического и графического исследования.

Когда исследуется некоторый новый класс задач оценивания (например, возникающих при оценивании параметров модели АРСС), следует широко пользоваться графическими представлениями функции правдоподобия. После того как поведение данного класса моделей достаточно хорошо понято и представления о ситуации указывают на допустимость такого подхода, мы можем действовать более прямыми методами, к рассмотрению которых мы переходим. Эти результаты подробно описаны в приложениях П7.4 и П7.5. Мы начнем с рассмотрения выражений для дисперсий и ковариаций оценок максимального правдоподобия, пригодных в случае, когда логарифмическая функция правдоподобия приближенно квадратичная и размер выборки сравнительно велик.

В последующем изложении удобно ввести вектор  элементов которого — параметры авторегрессии и скользящего среднего  и . Тогда полный набор  параметров процесса АРСС может быть представлен как , или как , или просто как .

Дисперсии и ковариаций оценок МП. Для правильно параметризованной модели АРСС часто оказывается, что в пределах значимой области пространства параметров  логарифмическая функция правдоподобия будет примерно квадратичной формой от компонент  (т.е.  и ), так что

,                                 (7.1.18)

где в рассматриваемом приближении производные

                                                             (7.1.19)

постоянны.

При больших  влиянием члена  или, что то же самое,  в (7.1.5) в большинстве случаев можно пренебречь. Отсюда, если  близко к квадратичной форме, и  также будет близко к ней. Иначе говоря,  будет близко к квадратичной форме от , если условные математические ожидания  в (7.1.6) локально близки к линейным функциям компонент вектора .

Для средних и больших выборок при условии, что допустимо локальное квадратичное приближение (7.1.18), можно получить полезные приближенные выражения для дисперсий и ковариаций оценок и для доверительных интервалов.

Информационная матрица для параметров . Матрица  размером  названа в [56, 87] информационной матрицей для параметров ; здесь математическое ожидание взято по распределению . Для данного значения  матрица ковариаций  МП-оценок  при больших размерах выборки является обратной к информационной матрице

.                                    (7.1.20)

Например, если , матрица ковариаций для большой выборки имеет вид

.

Далее, используя (7.1.5), получаем

,                                                       (7.1.21)

где

.

Кроме того, если для больших выборок мы аппроксимируем математические ожидания величин  или  фактически наблюдаемыми значениями, то, используя (7.1.20), получим

.                                             (7.1.22)

Отсюда для 

.

Если  была бы точно квадратичной функцией  в рассматриваемой области пространства параметров, то все производные  были бы постоянны во всей этой области. На практике , будут несколько варьировать, и мы будем предполагать, что эти производные определяются в точке  либо вблизи нее. В приложениях П7.4 и П7.5 показано, что оценка  имеет вид

                                                                                   (7.1.23)

и что для больших выборок  и  не коррелированы. Наконец, элементы (7.1.22)  можно оценить, пользуясь тем, что

,                                                                 (7.1.24)

где матрица  равна

.

Выражение (7.1.24) при  определяет дисперсию .

Приближенные доверительные области для параметров. Эти результаты позволяют, в частности, получить приближенные значения дисперсии наших оценок. Извлекая корень из дисперсий, мы найдем стандартные отклонения, которые обычно называют стандартными ошибками оценок. Стандартную ошибку оценки  мы будем обозначать . Когда нужно рассматривать несколько параметров одновременно, необходимо иметь способ суждения о совместной точности оценок. Один из способов осуществления такого подхода — определение доверительной области. Можно показать (см., например, [61]), что -я доверительная область имеет следующее свойство: если делать повторные выборки размера  из той же популяции и строить доверительную область для каждой такой выборки, то -я часть этих областей будет включать точку с истинным значением параметра.

Если для данного  — приближенно квадратичная функция  вблизи , то, пользуясь (7.1.20) (см. также приложение П7.1), можно получить приближенную -ю доверительную область в виде

,                            (7.1.25)

где  — это квантиль уровня  распределения  с  степенями свободы.  Можно получить и другое приближенное выражение для доверительной области, если воспользоваться (7.1.22) и подставить туда оценку (7.1.23) вместо :

.                               (7.1.26)

Однако если поверхность  квадратичная, то

.                   (7.1.27)

Тогда, пользуясь (7.1.23) и (7.1.26), находим, что приближенная -я доверительная область ограничена изолинией суммы квадратов, для которой

                                                         (7.1.28)

Примеры вычисления приближенных доверительных интервалов и областей.

1) Ряд . Значения  и ее разностей для ряда  приведены в табл. 7.8. Вторая разность  не постоянна, и поэтому  не является строго квадратичной функцией. Однако на интервале от  до   изменяется незначительно, так что можно считать (7.1.28) достаточно хорошим приближением. Так как минимальное значение , то критическое значение , определяющее приближенно 95%-ный доверительный интервал, равно

.

Таблица 7.8.  и ее первые и вторые разности для различных значений , ряд

Считывая значение , соответствующее  на рис. 7.1, получаем приближенный доверительный интервал .

Можно поступить и по-другому, используя (7.1.26). Пользуясь второй разностью из табл. 7.8 при , чтобы оценить производную, получаем

.

Пользуясь (7.1.23), находим, что . Отсюда 95%-ный доверительный интервал, согласно (7.1.26), будет

,

т. е.

.

Отсюда интервал равен , что хорошо согласуется с предыдущими вычислениями.

В этом примере, где имеется только один параметр , использование (7.1.25) и (7.1.26) эквивалентно использованию интервала

,

где  — квантиль уровня  стандартного нормального распределения. Приближенная стандартная ошибка  находится из (7.1.24). В этом примере

,

и приближенная стандартная ошибка  равна

.

Отсюда приближенный доверительный интервал равен, как и ранее,

.

Наконец, в разд. 7.2 мы покажем, что для больших выборок процесса СС(1) можно оценить (7.1.20) аналитически, что дает

.

В рассматриваемом примере, заменяя  на , находим

,

что хорошо согласуется с предыдущими оценками, дает ту же стандартную ошибку  и тот же доверительный интервал.

Рис. 7.7. Изолинии суммы квадратов для ряда  в предположении модели порядка ; в центре заштрихована 95%-ная доверительная область.

2) Ряд . При идентификации ряда  в качестве одной из опробованных моделей использовался процесс . Для иллюстрации использования формулы (7.1.28) в случае, когда число параметров больше 1, на рис. 7.7 заштрихована 95%-ная доверительная область значения параметров  и . В этом примере , так что 95%-ная доверительная область ограничена изолинией

.