9.7. Метод наименьших квадратов

Рассмотрим случай, когда данные наблюдений представлены множеством а математическое ожидание и ковариационная матрица изучаемого -мерного случайного процесса зависящего от -мерного вектора неизвестных параметров , разделяют точки В на множестве . Будем считать, что отсутствует априорная информация относительно одномерной функции плотности вероятностей . В этом случае, согласно теореме 9.2, при решении задачи оценивания вектора неизвестных параметров случайного процесса можно использовать плотность нормального распределения.

Действительно, согласно теореме 9.2,

где

Заменив математическое ожидание его оценкой, приходим к функции, аналогичной функции максимального правдоподобия (9.36):

Так как

то точки максимума функции совпадают с точками минимума функции

Согласно теореме 9.2 и результатам, приведенным в 9.6, квазиправдоподобная оценка вектора неизвестных параметров . В равна

Если ковариационная матрица изучаемого случайного процесса известна и не зависит от вектора неизвестных параметров, т.е. при и то в этом случае сумма

не зависит от а и для решения исходной задачи оценивания можно использовать функцию

где — известные квадратные матрицы порядка .

Функцию называют критерием метода наименьших квадратов, оценку

оценкой наименьших квадратов для вектора , а рассмотренный метод решения задачи оценивания — методом наименьших квадратов. Известные матрицы , называют весовыми матрицами критерия.

Поскольку (9.51) в данном случае эквивалентно (9.37), то оценка наименьших квадратов обладает всеми свойствами квазиправдоподобной оценки, т.е. она является состоятельной, асимптотически несмещенной и асимптотически нормальной. Заметим также, что в случае, когда изучаемый случайный процесс является гауссовым, она представляет собой оценку максимального правдоподобия и, как следствие, является еще и асимптотически эффективной.

Отметим, что метод наименьших квадратов позволяет оценивать только те параметры изучаемого случайного процесса, от которых зависит его математическое ожидание, и лишь при условии, что оно определено на множестве единственным образом.

Во многих практических задачах весовые матрицы при различных значениях неизвестны. В этих случаях „веса“ назначают исходя из каких-либо дополнительных соображений, а если таковые отсутствуют, то чаще всего просто полагают

Для пояснения сказанного обратимся еще раз к скалярному случайному процессу, рассмотренному в примере 9.3:

где — скалярный винеровский процесс с коэффициентом диффузии — известное детерминированное значение начального состояния, а — вектор неизвестных параметров. Как мы уже знаем,

Предположим, что мы располагаем данными наблюдений, представленными множеством и определяемыми согласно (9.4). Очевидно, что в этом случае функция не разделяет точки В на множестве поскольку она однозначно зависит лишь от параметра

Следовательно, методом наименьших квадратов можно оценить лишь параметр . Для этого составим сумму квадратов отклонений (9.50). Предполагая, что дисперсия случайного процесса нам неизвестна, введем „веса“ в соответствии с (9.52) и в результате получим

В соответствии с проведенными рассуждениями оценка параметра определяется как точка минимума функции

В заключение сделаем замечание, касающееся рассмотренных методов оценивания неизвестных параметров.

Замечание 9.1. Условие единственности решения задачи оценивания получены нами как условие единственности экстремума функции

При решении конкретных задач, располагая случайными выборками ограниченного объема, мы заменяем математическое ожидание его оценкой. Получаемая при этом функция (функция правдоподобия или функция Ф в методе наименьших квадратов) на самом деле может иметь несколько экстремумов. Полученные условия гарантируют единственность экстремума лишь при неограниченном увеличении объема выборочных реализаций.