Лекция 12. Метод наименьших квадратов

Метод максимального правдоподобия, рассмотренный в предыдущей лекции, требует для своего применения знания плотности вероятности ошибок измерений. А как действовать, если плотность неизвестна?

1. Рассмотрим задачу измерений в общем виде [5,6,7,8]

где

Плотность вероятности ошибок измерений неизвестна, но известна их ковариационная матрица К. Математическое ожидание

Примем, что ошибки измерений распределены по нормальному закону с ковариационной матрицей К:

При этом функция правдоподобия выборки запишется в виде

Условие метода максимального правдоподобия

выполняется, если показатель экспоненты как функция 6 принимает минимальное значение. Из этого условия приходим к уравнению получения оценки

Метод нахождения оценок минимизацией (12.3) называется методом наименьших квадратов (МНК). Применение МНК требует знания характеристики ошибок измерений в виде матрицы К.

2. Если ошибки измерений взаимно независимы, то матрица К имеет диагональный вид с элементами (дисперсия ошибки измерения). В этом случае из (12.3) непосредственно получим

где

3. Если дисперсии ошибок измерений одинаковы см то (12.4) приводит к условию

4. Рассмотрим (12.3) в линейном случае

где

Тогда (12.3) запишется в аиде

Условие (12.6) приводит к уравнению

где

Отсюда

Решение (12.8) относительно есть искомая оценка

При этом ковариационная матрица оценки дается формулой

5. В том случае, когда характеристики ошибок измерений одинаковы, но неизвестны, и мы предполагаем только их несмещенность и взаимную независимость, то это сразу дает условие нахождения оценки

Если при этом то из (12.9) получаем

В этом случае ковариационная матрица оценок

6. Качество оценок МНК базируется на теореме Гаусса-Маркова: в классе линейных несмещенных оценок оценка (12.9) обладает наименьшей дисперсией.

Если нелинейна, то это утверждение, вообще говоря, неверно.

В случае нелинейности оценки могут быть найдены отысканием численным методом минимума

или в случае взаимонезависимых и равноточных измерений

Точность полученных таким образом оценок должна быть исследоаана а каждом конкретном случае.

В заключение следует подчеркнуть, что, если ошибки измерений распределены по нормальному закону, оценки МНК и метода максимального правдоподобия совпадают. А это значит, что в этом случае оценки МНК обладают теми же свойствами, что и оценки максимального правдоподобия.

7. В общем случае поиск оценок МНК приводит к необходимости минимизации некоторой функции переменных

где

- вектор-столбец размера с элементами

- вектор-столбец размера с элементами

- вектор-столбец размера с элементами (измерения),

К - ковариационная матрица ошибок измерений размера

Условие минимума функции дает

где

- вектор-столбец размера с элементами

Учитывая (12.14), из (12.15) получим

где вектор-столбец размере с элементами Система уравнений (12.16) относительно неизвестных решается, вообще говоря, численными методами, в результате чего находим решение - оценки

Рассмотрим несколько известных методов решения системы (12.16).

8. Классический метод дифференциальной коррекции.

Предположим нам известно приближенное значение решения (12.16), которое обозначим . Заметим, что не компонента , а вектор-столбец с элементами

Разложим в ряд Тейлора относительно точки и ограничимся первыми двумя членами

где означает вычисленный при

С учетом (12.17) условие (12.16) запишется в виде

Система уравнений (12.18) линейна относительно неизвестных компонент вектора-столбца . Решая (12.18) и обозначая полученное решение через находим

где

Рассматривая (12.19) и (12.20) как итерационный процесс уточнения получим итерационный способ вычисления оценок МНК при . Начальное приближение должно быть найдено из каких-то дополнительных соображений. Остановка процесса производится при достижении определенной точности например, на шаге когда

где - заданная малвя величина. При этом требуемвя оценка МНК.

9. Метод Ньютона-Рафсона.

Разложим в ряд относительно некоторого значения и ограничимся первыми двумя членами. Тогда (12.16) приводит к

Отсюда

Условие (12.23) также описывает некоторый итерационный процесс в котором необходимо задать начальное приближение и момент окончания процесса типа (12.21).

10. Обобщенный метод дифференциальной коррекции.

Итерационный процесс (12.19) может приводить к резким уходам (скачкам) от что в этих случаях может давать расходимость процесса итераций. Для избежания таких ситуаций вводится некоторый коэффициент который ограничивает величину уточнения на каждом шаге

где рассчитывается по (12.20).

При получаем итерации (12.19).

В заключение отметим, что во всех рассмотренных итерационных процессах необходимо предусмотреть остановку процесса при достижении заранее задаваемого предельного количества итераций Это позволяет остановить расходящиеся или плохо сходящиеся процессы.