5.4. ОЦЕНКИ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ В СЛУЧАЕ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ

Одной из первоочередных задач при статистическом исследовании модели стохастического разностного уравнения является оценка коэффициентов и дисперсии по наблюдениям отрезка ряда Если распределены нормально и модель описывается разностным уравнением (1) из § 5.2 для всех то набор этих коэффициентов вместе с дисперсией полностью определяет распределение величин Мы займемся более общей задачей оценки коэффициентов в модели

Найдем оценки максимального правдоподобия параметров При этом будем предполагать, что величины независимы и нормально распределены с нулевыми средними и дисперсиями Исходное предположение о стационарности процесса мы изменим, полагая (помимо того, что мы ввели в модель переменные что наблюдения начинаются в точке ) И что при этом -заданные известные числа. Тогда совместное распределение величин будет полностью определять совместное распределение наблюдаемых величин (заметим, что заданные числа). Указанное предположение сделано для удобства отыскания оценок максимального правдоподобия. (В гл. 6 рассмотрены трудности, возникающие при отсутствии такого предположения.) Заметим, что любая процедура оценивания для этой модели является оценкой максимального правдоподобия или ее незначительной модификацией. Во всяком случае при больших влияние такого предположения невелико, а в асимптотической теории оно и вовсе не требуется. Оценки максимального правдоподобия и соответствующая асимптотическая теория для рассматриваемой модели были предложены Манном и Вальдом (1943b).

Обозначим

Полагая уравнение (1) запишем в виде

Поскольку не зависят от то условная плотность распределения случайных величин при заданных значениях совпадает с безусловной и равна

При фиксированных значениях соотношение (3) определяет взаимно однозначное отображение переменных на переменные Якобиан этого преобразования есть

Отсюда следует, что при заданных значениях совместная плотность вероятностей значений есть

Если это выражение рассматривать как функцию правдоподобия по отношению к параметрам то для получения оценок максимального правдоподобия для этих параметров необходимо максимизировать последнее выражение на множестве всех возможных значений Для этого в свою очередь достаточно найти значения параметров при которых достигает минимума сумма

Таким образом, мы приходим к обычной задаче наименьших квадратов. Нормальными уравнениями относительно значений минимизирующих сумму (7), будут здесь уравнения

Их можно записать в матричной форме следующим образом:

где

Оценкой максимального правдоподобия для будет

Непосредственно видно, что плотность (6) зависит от значений наблюдаемых переменных через выражение (7). Последнее же равно

Отсюда следует, что образуют достаточное

множество статистик.

В частном случае положим уравнения для оценок примут вид

где

Если из уравнения (13) вычесть умноженное на уравнение (14), то получим

или, что равносильно,

Суммы по в (19), соответствующие одному и тому же значению разности отличаются только добавлением или вычитанием крайних членов. Эти суммы можно различным образом видоизменять, Например, можно вместо (19) записать уравнения

Из соображений удобства и для согласования с последующим изложением определим входящие сюда величины следующим образом:

Отметим, что (22) получается из (21) делением всех на .

Если относительно велико, то различие между уравнениями максимального правдоподобия (19) (при наблюдениях и уравнениями (20), (21), (22) (включающими только наблюдения становится незначительным. При этом последние уравнения обладают большей симметрией. Каждая диагональ матрицы коэффициентов состоит в этом случае из одинаковых элементов. Что касается правых частей, то они образованы из тех же элементов, к которым добавляется еще один.

Если обозначить

то (22) можно записать в виде

Решением уравнений (26) будет Эти уравнения обладают тем преимуществом, что они используют лишь статистик, а матрица является положительно определенной. (Матрицу можно рассматривать как пропорциональную матрице, у которой элемент, находящийся на пересечении строки и столбца, равен и разность полагается равной нулю при Кроме того, матрица симметрична и относительно главной диагонали и диагонали, идущей из левого нижнего в правый верхний угол матрицы.

Специфическая форма приводит к простому рекуррентному способу вычисления коэффициентов уравнения порядка по решению соответствующего уравнения порядка. Уравнения относительно вектора коэффициентов уравнения порядка, который мы обозначим имеют вид

где

задаются соотношениями (25), а есть просто с координатами, записанными в обратном порядке. При этом (27) распадается на два уравнения

Исключив из (29) и (30), получим

где вектор получается из вектора изменением порядка его координат на противоположный. Подстановка (31) в (29) дает

В покомпонентной записи (31) и (32) имеют вид

Полученные уравнения позволяют легко вычислять оценки для процесса заданного порядка. Промежуточные вычисления дают коэффициенты для всех процессов более низкого порядка. В § 5.6 будет показано, что есть частная корреляция между при фиксированных величинах Этот метод соответствует стандартному методу добавления в уравнение регрессии независимой переменной. Упрощенные формулы для этого случая были предложены Дурбином (1960а).

Мы уже замечали, что уравнения (9) для оценок коэффициентов стохастического разностного уравнения формально совпадают с уравнениями, используемыми в методе наименьших квадратов. В случае обычной регрессии оценки наименьших квадратов являются наилучшими несмещенными линейными оценками. Получаемые здесь оценки не линейны по Обращаясь к уравнениям (9), Дурбин (1960b) назвал их линейными (относительно оценок) и несмещенными, в том смысле, что при замене в (9) оценок на истинные значения параметров математические ожидания правой и левой частей совпадают. В пределах такого класса уравнения (9) являются наилучшими в том смысле, что дисперсия разности правой и левой частей минимальна.