4.3. Метод максимального правдоподобия

Предположим, случайные отклонения имеют нормальное распределение, другими словами, Тогда также нормально распределены, причем Параметрами, которые необходимо оценить в первую очередь, язляются так называемые «структурные параметры». Остальные параметры мешающие: Таким образом, всего необходимо оценить неизвестных параметров, тогда как число наблюдений равно Ясно, что все параметры удовлетворительно оценить невозможно. Для нас основной интерес представляют структурные параметры Однако и для них далеко не всегда существует оценка ММП. Можно показать, что она существует, только если известны по крайней мере с точностью до постоянного множителя [37]. Поэтому предположим, что известен вектор весов причем неизвестный параметр. Нормализуем переменные т. е. вместо них рассмотрим

Нормализованные переменные по-прежнему удовлетворяют исходным уравнениям (4.15) и (4.16), причем Поскольку независимы, то их совместная плотность равна:

Возьмем логарифм этой функции, отбросим постоянные члены и поменяем знак, получим

Необходимым условием экстремума функции является обращение ее частных производных в точке экстремума в нуль. Таким образом,

откуда

Подставим это значение в минимизирующую функцию (4.24), получим

где строки матриц соответственно. По определению удовлетворяют уравнению

т. е. принадлежат гиперплоскости (4.18). Величина есть квадрат расстояния от точки до точки Это расстояние по условию необходимо минимизировать. Минимальная величина есть по лемме 4.1 она равна Таким образом, получаем

Как видим, совпадает с Поэтому оценка ММП для стандартизованной зависимости (4.23) совпадает с ортогональной регрессией. Оценка ММП является характеристическим вектором стандартизованной матрицы , отвечающим минимальному этой матрицы. Если то оценка ортогональной регрессии и оценка ММП совпадают. Для получения оценок исходной зависимости необходимо произвести операции, обратные (4.23), т. е. положить При желании новый вектор может быть пронормирован так, чтобы

Если переменные имеют разные дисперсии, то оценки ММП и ортогональной регрессии будут отличаться друг от друга. Другими словами, выбирая направление минимального матрицы V V в ортогональной регрессии, мы тем

самым неявно предполагаем, что переменные имеют одинаковые ошибки (имеются в виду стандартные отклонения). Если ошибки будут разными, направление должно быть другим, учитывающим эту разницу.

Оценки ММП в схеме с ошибками в независимых переменных более гибкие, чем оценки ортогональной регрессии. Действительно, представим ситуацию, когда ошибки в х незначительны по сравнению с ошибками в у. Тогда направление минимизации ошибок должно быть близко к у, в то время как в ортогональной регрессии оно не зависит от величин ошибок в . С учетом того, что направление в ММП, как нетрудно проверить, будет близко к направлению у.

Иногда помимо переменных, в которых присутствуют ошибки, в зависимость (4.1) входят переменные, которые измеряются без ошибок. В первую очередь это относится к уравнениям со свободным членом. Нахождение оценок ММП в этом случае несложно. Рассмотрим подход, предложенный в [90].

Итак, пусть

где относительно выполняются все предположения, сделанные ранее, детерминированы, Обозначим Найдем х.в. матрицы характеристический вектор, соответствующий ее минимальному х. ч., обозначим 6. Тогда, как и ранее, Оценка для у равна:

На основе этого результата легко показать, что если в уравнении т. е. свободный член, то для нахождения вектора а необходимо сначала центрировать матрицу т. е. положить где оценка равна у — аххх — атхт.

Найдем оценки метода максимального правдоподобия для регрессии-примера. В табл. 4.1 приведены 9 вариантов стандартных отклонений соответственно для переменных Выбор значений объясняется в параграфе 4.7. Варианты соответствуют равным дисперсиям, поэтому оценка ММП в этом случае совпадает с оценкой ортогональной регрессии. В табл. 4.2

Таблица 4.1 (см. скан)

приведены оценки ММП для остальных вариантов Для сравнения в нижней строке приведены оценки ортогональной регрессии.

Проанализируем полученные оценки. Как видим, оценка ММП во всех вариантах, за исключением для первого параметра а относительно стабильна. Максимальное отклонение оценок ММП от оценок ортогональной регрессии и вообще от всей массы оценок наблюдаются для варианта Другими словами, оценки ММП наиболее чувствительны к ошибкам измерения в Оценки второго и четвертого параметров резко отличаются друг от друга в зависимости от дисперсий, поэтому являются наиболее нестабильными и резко реагирующими на априорные значения стандартных отклонений Оценки третьего параметра относительно устойчивы (хотя и не в такой степени, как оценка опять же за исключением варианта

Остановимся несколько подробнее на свойствах оценки ортогональной регрессии и оценки ММП. Во-первых, можно

Таблица 4.2 (см. скан)

показать, что оценка будет смещена, даже если нормально распределены. Будет ли оценка обладать самым необходимым и слабым свойством — свойством состоятельности? Ответ положительный.

Теорема 4.1. Если а матрицы сильно регулярны, т. е. где А — детерминированная матрица, то оценка сильно состоятельна, т. е.

Доказательство теоремы дано в параграфе 4.8.

Замечания: 1. Поскольку ограниченные случайные величины то т. е. оценки являются асимптотически несмещенными и состоятельными в среднем квадратичном.

2. Если то сильно состоятельными являются также оценки

3. Существенным условием теоремы является равенство дисперсий В противном случае оценки не являются состоятельными.

4. В теореме не делается предположений о конкретном виде распределения Поэтому оценки ММП (при известных также будут состоятельны.

В условиях регулярности матриц может быть исследовано асимптотическое распределение (см., например, [48, с. 382]).

Можно показать, что оценкой ММП для является где V — нормализованная матрица. Используя асимптотическую нормальность оценки ММП, Э. Маленво доказывает, что матрица асимптотических коварнаций С оценки определяется из системы уравнений

где Непосредственно использовать (4.27) невозможно, так как С участвует в этом выражении неявно. В параграфе 4.8 показано, как матрица С может быть выражена из (4.27) явно. Там же даются приближенные формулы для нахождения дисперсий оценок

В [72] подробно изучена оценка ММП для регрессии для конечного в частности построена приближенная функция распределения этой оценки.

Упражнения 4.3

(см. скан)