7.1. Исследование функций правдоподобия и суммы квадратов

7.1.1. Функция правдоподобия

Пусть мы имеем выборку из  наблюдений , которую мы считаем реализацией -мерной случайной величины, для которой известное вероятностное распределение  зависит от неизвестного параметра . Вектор  мы используем для обозначения общего множества параметров, и, в частности, он может относиться к  параметрам  модели АРПСС.

До того как появились данные,  связывает плотность вероятности с каждым конкретным выходом  эксперимента для фиксированного . После того как данные появились, наступает момент для рассмотрения различных возможных значений , которые могли бы привести к заданному множеству  фактически полученных наблюдений. Для этих целей подходит функция правдоподобия , которая имеет ту же форму, что и , но в которой теперь  зафиксировано, а  переменные. Обычно важны только относительные значения , и поэтому функцию правдоподобия часто считают содержащей произвольную мультипликативную константу.

Часто удобнее работать с логарифмической функцией правдоподобия, содержащей произвольную аддитивную константу. Одна из причин, по которым функция правдоподобия имеет фундаментальное значение в теории оценивания, связана с «принципом правдоподобия», выдвинутым с разных позиций Фишером [56], Бернаром [57] и Бирнбаумом [58]. Этот принцип гласит (при условии правильности предполагаемой модели): все, что данные могут сказать о параметрах модели, содержится в функции правдоподобия, а все другие аспекты данных не имеют отношения к делу. При байесовском подходе функция правдоподобия также важна, так как она является той компонентой апостериорного распределения параметров, которая зависит от данных.

Для полного понимания ситуации с оцениванием необходимо проделать подробное аналитическое и графическое изучение функции правдоподобия; в байесовском подходе мы должны изучить апостериорное распределение параметров, которое в рассматриваемых ситуациях определяется в основном правдоподобием. Во многих примерах с выборками средних и больших размеров логарифмическая функция правдоподобия унимодальна и в достаточно большой окрестности максимума может быть аппроксимирована квадратичной функцией. Значения параметров, максимизирующие функцию правдоподобия или, что эквивалентно, логарифмическую функцию правдоподобия, называются оценками максимального правдоподобия (МП).

Вторые производные логарифмической функции правдоподобия дают меру «растянутости» функции правдоподобия и могут использоваться для вычисления приближенных стандартных ошибок оценок. Предельные свойства оценок максимального правдоподобия обычно доказываются для независимых наблюдений [59]. Но, как показано Уиттлом [87], они могут быть обобщены на стационарные временные ряды.

В последующем изложении мы будем исходить из того, что читатель знаком с некоторыми фундаментальными понятиями теории оценивания. Приложения П7.1 и П7.2 содержат сводки наиболее существенных результатов теории нормального распределения и линейного метода наименьших квадратов, необходимых в этой главе. Некоторые из важных предшествующих работ по оценке параметров моделей временных рядов можно найти в [34, 78, 88, 89, 93—95, 97—101].