8b. Различные методы выбора класса

8b.1. Метод максимума правдоподобия.

Этот подход можно использовать для одновременного сравнения нескольких классов. Уравнения системы могут содержать члены скользящего среднего. Основная идея состоит в вычислении функции правдоподобия для каждого из классов по заданным наблюдениям и выборе среди них класса с максимальным значением функции правдоподобия. Однако оценивание функции правдоподобия — не тривиальная операция, поскольку каждый класс содержит множество моделей с различными плотностями вероятности и неизвестно, какая именно модель из каждого класса могла дать имеющиеся наблюдения. В следующем пункте будет получено точное выражение для значения правдоподобия, связанного с семейством плотностей распределения вместо единственной плотности.

8b.1.1. Значение логарифма правдоподобия для класса моделей.

Рассмотрим класс Пусть заданное множество наблюдений порождается моделью

где неизвестно. Пусть плотность вероятности имеющихся наблюдений имеет вид Задача состоит в нахождении приближения для функции зависящего только от

Теорема Пусть оценка условно максимального правдоподобия для параметра полученная по наблюдениям Тогда имеет место

где размерность

Доказательство. Разложим в ряд Тэйлора в окрестности

Возьмем условное математическое ожидание при заданном Математическое ожидание второго члена справа в будет равно нулю по определению оценки условного максимального правдоподобия, т. е.

Напомним следующее выражение из

где

Беря условное математическое ожидание относительно от третьего слагаемого в правой части равенства получим члена в правой части

Требуемое доказано.

Будем считать требуемой аппроксимацией и назовем эту функцию логарифмом правдоподобия класса С для множества наблюдений

Заметим, что являлся бы правильным значением логарифма правдоподобия, если бы было получено из модели, характеризуемой Но является лишь оценкой неизвестного параметра вычисленной по наблюдениям В результате эта

дополнительная неточность знания проявляется в уменьшении правдоподобия на величину

Теперь можно сформулировать уточненное решающее правило выбора класса аппроксимации для заданного множества наблюдений Это решающее правило было предложено Акаике (1972, 1974) и основано на ошибке предсказания и теоретико-информационных рассуждениях. Приведенный здесь вывод сравнительно новый.

Решающее правило 1. (I) Для каждого класса найти оценку условного максимума правдоподобия для параметра используя заданное множество наблюдений Вычислить соответствующие функции правдоподобия классов:

где размерность вектора

(II) Выбрать тот класс, на котором достигается максимальное значение среди всех Если имеется несколько таких классов, выбрать один из них, руководствуясь некоторым второстепенным критерием.

Это решающее правило очень разностороннее и применимо к ряду систем, включая и системы со скользящим средним. Как будет показано в следующем пункте, вычисления просты и для многих других классов систем. Решающее правило можно обосновать с помощью байесова подхода, как будет показано ниже. Это решающее правило неявно предполагает использование понятия экономности. Классу, в котором разностное уравнение содержит большое число коэффициентов, будет соответствовать функция правдоподобия, значительно уменьшенная из-за влияния члена в выражении

Следующей задачей является получение явной формы функции и решающих функций для отдельных множеств классов.

8b.1.2. Упрощенная форма L для класса непреобразованных моделей.

Пусть где

В (8b.l.7) компоненты являются функциями конечного числа или детерминированных функций тренда; это обычный дискретный гауссов белый шум с нулевым средним и дисперсией Заметим, что обобщает все непреобразованные модели, такие как и обобщенные ARMA-модели, и сезонные ARIMA-модели, а также ковариационно-стационарные модели:

где максимальный сдвиг AR-членов в уравнении 9 класса С, т. е. справа в уравнении 9 не содержится членов вида где

где оценка условного максимального правдоподобия для

Далее, можно аппроксимировать выражение считая независимыми гауссовыми величинами с нулевым средним и дисперсией

Подставляя а затем преобразованное выражение получим следующее выражение для

При сравнении различных классов моделей с изменение класса к классу незначительно по сравнению с изменением Следовательно, для сравнения достаточно рассмотреть из в таких случаях:

Таким образом, решающее правило 1 приводит к выбору класса с максимальным значением среди всех возможных классов.

Оценка является оценкой условного максимального правдоподобия, упомянутой в разделе 7а.2.4.

8b.1.3. Сравнение двух классов с непреобразованными моделями.

Конкретизируем теперь приведенные выше результаты для случая выбора между двумя классами, обозначаемыми 1 и 2. В этом случае решающее правило 1 сводится к сравнению значений для двух классов. Пусть остаточные дисперсии и числа параметров в двух классах соответственно, и пусть Тогда

Мы предпочтем класс 1 классу 2, если т. е.

Если разность мала по сравнению с можно далее аппроксимировать следующим образом:

Решающее правило упрощается следующим образом:

Обсудим решающее правило Обычно класс с большим числом параметров (класс 2) дает меньшую остаточную дисперсию, чем класс с меньшим числом параметров. Например, если классы 1 и 2 являются классами AR-моделей порядка 1 и 2, то

Исключая случаи, когда очень велико или мало, должно быть меньше, чем поскольку во втором случае минимизируют по большему числу параметров. Следовательно, можно установить, что, когда к модели добавляются дополнительные члены, остаточная дисперсия обычно уменьшается. Вопрос в том, значимо ли статистически это уменьшение, т. е. можно ли приписать это уменьшение исключительно выборочным колебаниям, вызванным конечностью или же его можно объяснить появлением новых членов, введенных в модель. Когда мало, следует ожидать больших выборочных колебаний разности по

сравнению со случаем больших Следовательно, требуется эффективное измерение влияния заново добавленных членов на уменьшение Согласно правилу этот эффективный вклад измеряется произведением Если оно больше, чем пороговое значение то считаем добавленные члены существенными.

Решающее правило по форме похоже на правило из теории проверки гипотез, данное в п. 8b.2. А раз так, то в некоторых специальных случаях можно получить асимптотическое выражение для вероятности ошибки, обусловленной решающим правилом т. е. вероятности отвергнуть меньшую модель, когда она правильна. Подробности обсудим ниже.

8b.1.4. Упрощенное выражение правдоподобия для некоторых преобразованных моделей.

Рассмотрим вычисление выражения в классе моделей, мультипликативных относительно у, т. е. моделей, аддитивных относительна . В таких случаях уравнение можно переписать в виде

где компоненты являются известными функциями конечного числа и детерминированных трендов или других входов. Получим явное выражение для функции правдоподобия. Как и прежде, можно разделить совместную плотность вероятности на две части, как в и вычислить каждую часть отдельно. Рассмотрим первый член в

где нормальная плотность вероятности а множитель появляется при преобразовании у в Левая часть равна

Логарифмируя, получим

где остаточная дисперсия. В качестве первого приближения для оценивания можно принять, что независимы и распределены логарифмически нормально с параметрами Следовательно,

Следовательно, подставляя получим следующее выражение для

Как и ранее, изменение второго члена от класса к классу мало по сравнению с первым членом, если Следовательно, эффективной частью статистики является

где

Таким образом, решающее правило 1 приводит к выбору класса, имеющего наибольшее значение Выражение справедливо для логарифмической разностной или ARIMA-модели.

8b.1.5. Сравнение преобразованных и непреобразованных моделей.

Предположим, нужно сравнить класс 1, класс непреобразованных моделей, описываемых уравнением 9 типа с классом 2, содержащим преобразованные модели, описываемые уравнением типа Сравним их по статистике

Согласно решающему правилу 1 мы отдаем предпочтение классу 1, если больше, чем Существенным членом в является Если бы этот дополнительный член в отсутствовал, всегда бы пришлось выбирать класс 2, а не класс 1, так как всегда имеет меньшую дисперсию, чем у. Согласно решающему правилу, даже если для правильного определения класса нужно сравнивать Сравнение двух классов моделей, данное выше, выходит за рамки классических методов проверки гипотез.

Некоторые примеры одновременного сравнения различных классов моделей даны в гл. XI.