4.d.3. Принцип экономичности и точность оценивания.

Здравый смысл подсказывает, что среди ряда моделей, адекватно представляющих исходные данные, следует выбирать простейшую. Однако, чтобы сделать это положение практически полезным, надо четко определить понятие простоты модели. Мерой простоты модели является число параметров модели, подлежащих оценке. Такая мера кажется подходящей для множества моделей, вычислительная сложность определения которых есть монотонно возрастающая функция от числа параметров. Именно так обстоит дело в случае авторегрессионных моделей. Количество вычислений, связанных с подбором модели больше количества вычислений для модели В таких случаях среди всех конкурирующих моделей следует предпочесть ту, которая имеет наименьшее число параметров. Это правило называется принципом экономичности.

Следует подчеркнуть, что вычислительная сложность не всегда монотонно возрастает с ростом числа неизвестных параметров. Например, для модели с тремя неизвестными параметрами требуется гораздо меньше вычислений, чем для модели с единственным неизвестным параметром. Ясно, что в этих случаях использование принципа экономичности не может быть обосновано соображениями только вычислительной сложности.

Заметим также, что более простая модель может быть предпочтительнее сложной и с точки зрения точности оценок параметров. Оценки параметров в переопределенной модели являются обычно менее точными, чем в более простой модели. Если, например, пытаться подобрать авторегрессионную модель порядка к наблюдениям, порожденным системой типа то оценка каждого из параметров модели порядка обычно будет иметь большую среднеквадратическую ошибку, чем в случае модели -го порядка. Это обстоятельство иллюстрируется приводимым ниже примером.

Пример 4d.7. Рассмотрим процесс у:

Пусть к множеству из наблюдений процесса у требуется подобрать авторегрессионную модель первого порядка. Средний квадрат ошибки оценки единственного неизвестного коэффициента равен

Можно попытаться подобрать к тому же множеству из наблюдений авторегрессионную модель второго порядка. Пусть и — оценки параметров Заметим, что однако в процессе построения оценки это обстоятельство, естественно,

не учитывается. Матрица средних квадратов ошибок оценок и равна

где . Поскольку то Поэтому оценка коэффициента модели оказывается боле точной, чем оценка того же коэффициента в модели