Глава 7. ОЦЕНИВАНИЕ НЕИЗВЕСТНЫХ ЗНАЧЕНИЙ ПАРАМЕТРОВ, ЛИНЕЙНО ВХОДЯЩИХ В УРАВНЕНИЕ РЕГРЕССИОННОЙ ЗАВИСИМОСТИ

Рассмотрим общую модель линейной (относительно оцениваемых параметров ) регрессии в виде

где — неизвестные параметры, которые надо оценить по выборочным данным — система известных (базисных) функций векторного аргумента Z, по которым разложена неизвестная функция регрессии — случайная погрешность. Сделав замену переменных и учитывая ранее принятые обозначения

модель (7.1) можно представить в виде

Вектор будем называть наблюденным значением предикторной переменной (регрессора).

В данной главе рассматриваются различные способы оценки параметра в зависимости от предположений о природе X и характере распределения .

7.1. Метод наименьших квадратов

7.1.1. Мнк-уравнения.

Предположим, что распределение вектора не зависит от X и нормально с нулевым вектором средних и ковариационной матрицей где — неизвестная дисперсия компонент в, а — единичная матрица порядка . Сформулированное условие записывается

Оценка параметров в модели (7.2), (7.3) проводится с помощью метода наименьших квадратов который описан в [14, п. 8.6.3].

При этом находится из условия минимизации суммы квадратов отклонений наблюденных значений у от их сглаженных (регрессионных) значений, т. е. величины

Уравнения метода наименьших квадратов, мнк-уравнения, в случае, когда — ранг X равен , имеют решение

Если , то в ряде случаев легко ввести дополнительные ограничения на параметры где ранг Н равен .

Пусть , тогда имеет размер и ранг и

Другой путь — использование обобщенной обратной матрицы для ХХ. В этом случае

Подправленная на несмещенность оценка максимального правдоподобия [14, п. 8.6.3] для дисперсии задается формулой

где часто называют остаточной суммой квадратов (ОСК).