12.3.2. АППРОКСИМАЦИЯ ФУНКЦИИ ПРАВДОПОДОБИЯ ОБОБЩЕННЫХ ЛИНЕЙНЫХ МОДЕЛЕЙ

В этом и в следующих разделах излагаются основы применения итеративно-взвешенного метода наименьших квадратов для максимизации функции правдоподобия обобщенной линейной модели.

Напомним сначала вывод системы нормальных уравнений для взвешенного метода наименьших квадратов. Обозначим через линейное подпространство, натянутое на векторы Пусть тогда для любого вещественного . Далее можно записать следующее тождество:

Вектор будет вектором расчетных значений для взвешенного метода наименьших квадратов, если левая часть окажется неотрицательной при Правая часть неотрицательна для любого тогда и только тогда, когда коэффициент при равен нулю. Отсюда система нормальных уравнений взвешенного метода наименьших квадратов имеет вид для любого для

Основная идея заключается в аппроксимации логарифма функции правдоподобия обобщенной линейной модели выражением, аналогичным правой части предыдущего соотношения.

Как следует из раздела 11.2.1, каждое наблюдение у имеет и математическое ожидание Линейный предиктор связан с функциональной зависимостью Логарифм функции правдоподобия имеет вид производная которой по есть

Вместо аргумента в целях устранения нелинейности перейдем к Для этого введем переменную

Очевидно, что

Заменяя приходим к

Разложение логарифма функции плотности в ряд Тейлора до членов второго порядка тогда будет иметь вид

(На самом деле коэффициент при должен быть равен , а не но это различие не существенно.)

Поскольку наблюдения в выборке независимы, логарифм функции плотности по всей выборке будет равен сумме индивидуальных значений:

Таким образом, на основе разложения в ряд Тейлора можно записать:

где веса в скалярном произведении берутся равными