12.3. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ И ФУНКЦИЯ ПРАВДОПОДОБИЯ

12.3.1. ВЗВЕШЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

Допустим, что. исходное распределение является нормальным с дисперсией (а не , как в обычном случае, веса известны). Чтобы учесть разницу в информации, которую несет каждое наблюдение, для нахождения оценки необходимо минимизировать взвешенную сумму квадратов отклонений. Взвешенный метод наименьших квадратов, как показано ниже, будет использован при аппроксимации п.р.в. экспоненциального распределения.

Обобщения, связанные с применением взвешенного метода наименьших квадратов, тривиальны. Определим скалярное произведение по формуле

где для всех Рассмотрим теперь задачу минимизации

Все алгебраические результаты из раздела 12.1 при этом сохраняют свою силу с заменой скалярного произведения на

В частности, для нормальное уравнение будет иметь вид

откуда Разложение суммы квадратов принимает вид

Пример. Данные:

Как видим, наблюдения 3 и 4 имеют удвоенный вес по сравнению с 1 и 2, тогда как наблюдения 5 вообще следует исключить из анализа. Матрица скалярных произведений будет следующей:

откуда

Очевидным образом на случай взвешивания обобщаются все остальные результаты из раздела 12.1. Аналогично находится и оценка взвешенного метода наименьших квадратов двух или большего числа объясняющих переменных, при этом обычное скалярное произведение необходимо заменить на взвешенное.

Точно так же обобщаются на случай взвешенного метода наименьших квадратов выборочные свойства оценок, если условия относительно вторых моментов заменить на

Для того чтобы убедиться в том, что это условие эквивалентно условию достаточно положить тогда

Последнее условие гарантирует, что оценка взвешенного метода наименьших квадратов является несмещенной и имеет минимальную дисперсию в классе всех линейных несмещенных оценок. Все выборочные свойства также остаются верными, если независимы и нормально распределены с дисперсией для любого Если для некоторого имеем то происходит потеря одной степени свободы, а все остальные результаты сохраняются.

Следует, однако, заметить, что для большинства распределений, принадлежащих экспоненциальному семейству, дисперсия является функцией среднего что, разумеется, приводит к определенным трудностям.

Пример. Пусть Положим т. е. мы допускаем некоторую вольность в обозначении Тогда

Это выражение достигает минимума при

и оно уже нелинейно по у. Для не существует аналитического решения соответствующей оптимизационной задачи. К счастью, имеется итеративный алгоритм решения подобных задач, который будет рассмотрен ниже.