4.4.4. Метод наименьших квадратов и оценивание с помощью правдоподобия

Оценивание с помощью наименьших квадратов эквивалентно оцениванию методом максимального правдоподобия при условии, что ошибки распределены по нормальному закону. Чтобы показать это, рассмотрим простую однопараметрическую модель

обсуждавшуюся в разд. 4.3. Если предположить, что ошибки независимы, имеют нулевое среднее значение и дисперсию то выборочная оценка наименьших квадратов получается при минимизации суммы квадратов

Если предположить, что ошибки независимы, имеют нулевое среднее значение и дисперсию а также распределены по нормальному закону, то плотность вероятности для данных до того, как проведен эксперимент, имеет вид

После того как данные собраны, логарифмическая функция правдоподобия равна

Таким образом, выборочная оценка 8, максимизирующая логарифмическую функцию правдоподобия (4.4.10), совпадает с выборочной оценкой, минимизирующей суммы квадратов (4.4.9). Следовательно, для нормально распределенных ошибок выборочные оценки наименьших квадратов и максимума правдоподобия совпадают.

Мы обосновали оценки наименьших квадратов в разд. 4.3.1, пользуясь критерием среднеквадратичной ошибки. Однако критерий среднеквадратичной ошибки нельзя использовать в теории правдоподобия, поскольку он включает усреднение по выборочному пространству. Следовательно, необходимо заново интерпретировать теорию наименьших квадратов с точки зрения метода правдоподобия.

Логарифмическую функцию правдоподобия (4.4.10) можно переписать в виде

где является выборочной оценкой и наименьших квадратов, и максимума правдоподобия. Отсюда функция правдоподобия пропорциональна нормальной плотности вероятности со средним значением 0 и дисперсией

Заметим, что выражение (4.4.12) в точности совпадает с выборочной дисперсией (4.3.8) оценки наименьших квадратов. Так как дисперсия (4.4.12) равна

то отсюда следует, что количество информации Фишера заменяется в методе правдоподобия на фактически имеющееся значение второй производной логарифмической функции правдоподобия в точке ее максимума.

Вероятные области. В разд. 4.4.3 было показано, что понятие шансов, получаемых из отношения правдоподобия, можно использовать для определения вероятных областей для параметра. При этом, если сравнивать любое значение параметра внутри этой области с любым другим значением, то шансы правдоподобия не превосходят заданного отношения. Однако если функция является нормальной, то вероятная область, основанная на шансах правдоподобия, эквивалентна области, которую можно получить, набирая определенную долю площади под функцией правдоподобия.

Например, -вероятная нормальная область эквивалентна охвату 95% площади под функцией правдоподобия. 95%-ная вероятная область для параметра в упомянутом выше примере имеет вид

и она является также вероятной областью с шансами При построении интервала, исходя из площади, мы неявно считаем функцию правдоподобия распределением вероятностей. В байесовском подходе к выводам [10, И, 2] это делается явно.

Наименьшие квадраты в случае, когда независимые переменные содержат ошибки. При рассмотрении наименьших квадратов в разд. 4.3 предполагалось, что х не содержали ошибок. Однако во многих случаях невозможно осуществить какой-либо контроль над независимыми переменными (например, в рассматриваемых ниже задачах с временными рядами). В таких случаях можно рассматривать как реализации случайных величин. Для однопараметрического случая совместную выборочную плотность вероятности наблюдений, до того как они произведены, можно записать в виде

Совместная плотность вероятности в правой части равенства представляет собой условное распределение при условии, что фиксированы, а плотность описывает плотность вероятности

После получения данных можно выписать функцию правдоподобия

Так как не имеет среди своих аргументов 0, то функция правдоподобия для 0 будет такой же (за исключением независящего от 0 множителя), что и функция правдоподобия полученная, когда рассматриваются как фиксированные, или не содержащие ошибок. Таким образом, знание распределения никак не помогает при оценивании 0. Отметим еще раз, что метод выборочных распределений дает другой ответ на эту задачу, так как дисперсия 0 равна

где математическое ожидание берется по выборочному пространству . В методе правдоподобия выборочное пространство не имеет отношения к существу дела, а «дисперсия» функции правдоподобия дается все еще выражением (4.4.12) и, следовательно, зависит только от конкретных значений которые получились в данных измерениях.