Глава 10. МЕТОДЫ ВЫЧИСЛЕНИЯ ОЦЕНОК

В гл. 7 были представлены две основные процедуры параметрического оценивания:

1. Подход, основанный на ошибке предсказания, когда некоторая функция минимизируется по

2. Корреляционный подход, в котором ищется решение некоторого уравнения в.

В данной главе будут обсуждаться вопросы наилучшего численного решения этих задач.

В момент времени когда известен набор данных обе рассмотренные выше функции являются обыкновенными функциями конечномерного

действительного вектора параметров Следовательно, решение задач сводится к стандартным вопросам нелинейного программирования и численного анализа. Тем не менее, заслуживает внимания рассмотрение этих вопросов для задач параметрического оценивания, учитывающее специфику в структуре введенных выше функций.

10.1. Линейные регрессии и наименьшие квадраты

Нормальные уравнения. Для линейных регрессий предсказание задается в виде

Применение к подхода, основанного на ошибке предсказания и использующего квадратичную норму, приводит к методу наименьших квадратов, описанному в разделе 7.3. При этом параметр при котором достигается минимум, может быть записан в виде (7.34):

где

Вектор в можно также рассматривать как решение системы уравнений

Эти уравнения известны как нормальные уравнения. Заметим, что основное уравнение (7.104) метода инструментальных переменных совершенно аналогично (10.5), и большая часть того, что говорится в данном разделе о методе наименьших квадратов, применимо также и к методу инструментальных переменных с очевидными изменениями.

Матрица коэффициентов в (10.5) может быть плохо облусловленной, в частности, если ее размерность велика. Существуют методы нахождения вы с более хорошим численным поведением, причем они не основываются на нормальных уравнениях. Это интенсивно обсуждалось в литературе по численному исследованию решения линейных задач методом наименьших квадратов. В качестве основной ссылки по рассматриваемой проблеме можно упомянуть книгу Лоусона и Хансона [228]. Основополагающая идея этих методов состоит в том, что не следует формировать матрицу поскольку она содержит произведения исходных данных. Вместо нее строится матрица обладающая свойством

Поэтому в инженерной литературе этот класс методов обычно называют алгоритмами квадратного корня. Термин не совсем подходящий, поскольку никакие квадратные корни не берутся. Возможно, при решении (10.5) более подходящим был бы термин квадратичные методы.

Нахождение оценки наименьших квадратов посредством ортогональных преобразований. Известно несколько различных подходов к построению например, преобразования Хаусхолдера [182], процедура Грамма — Шмидта [52] и декомпозиция Холецкого.

В общем многомерном случае (4.53) и (4.54) положим

(Здесь Тогда критерий наименьших квадратов можно записать (ср. с )

Очевидно, норма не изменится при ортогональном преобразовании вектора Следовательно, если ортогональная -матрица, т. е. то

Выберем теперь ортогональную матрицу так, чтобы

где верхняя треугольная -матрица. Так как Тортогональна, можно записать

что представляет собой -факторизацию Существуют различные хорошие в численном отношении методы -факторизации, имеющиеся в большинстве программных пакетов по матричному исчислению. Один способ построения состоит в использовании произведения преобразований Хаусхолдера (см. задачу Положим

Тогда

и при

достигает минимума

Заметим, что из (10.8) следует, что

Показатель обусловленности (отношение наибольшего собственного значения к наименьшему) матрицы равен, таким образом, квадратному корню из показателя обусловленности Следовательно, система линейных уравнений (10.12а) обусловлена значительно лучше, чем (10.5). Описанная процедура нахождения является, таким образом, более предпочтительной благодаря своим лучшим численным свойствам. Однако следует также сказать, что во многих случаях

непосредственное решение (10.2) или (10.5) дает вполне удовлетворительную точность, если размерность вектора в не слишком велика.

Нахождение в одним из описанных методов требует выполнения количества арифметических операций, пропорционального При этом не принимается во внимание возможная специфика внутренней структуры матрицы

Начальные условия: вырезанные данные. Типичная структура вектора регрессии представляет собой структуру сдвинутых данных (возможно, после тривиального переупорядочения):

Здесь -мерный вектор. Например, ARX-модель (4.11) с дает

в то время как AR-модель для -мерного процесса (ср. с (4.54), приводит к

Для структуры (10.13) матрица в (10.3) будет представлять собой блочную матрицу, -блоком которой является -матрица

Если имеются сведения относительно только для возникает вопрос, как быть с неизвестными начальными условиями для в (10.14). Возможны два подхода:

1. Начинать суммирование в (10.3) и (10.4) в момент а не при Тогда все суммы в (10.14) будут содержать только известные данные. (После соответствующего переопределения величины и начала отсчета времени, можно, конечно, сохранить обычные выражения, предполагая известными для

2. Заменить неизвестные начальные условия нулями (предварительное вырезание) . Для симметрии опытные данные могут также быть заменены нулями (последующее вырезание), а суммирование в (10.3) распространено до . В этом случае (10.5) известно также как уравнения Юла-Уокера. Чао то применяют другие способы модификации (повторение; ср. с задачей на обоих концах записи данных с целью смягчения эффекта присоединенных нулей.

В работах по обработке речевой информации эти подходы известны как ковариационный и автокорреляционный методы соответственно [273]. Нет сомнения, с логической точки зрения подход 1 выглядит более естественным. Подход 2, однако, имеет особенность, состоящую в том, что блоки (10.14) зависят только от разности между индексами:

Это делает блочной матрицей Теплица, что обеспечивает, как будет кратко показано, различные преимущества при решении (10.5).

Очевидно, при различие между двумя подходами становится незначительным.

Алгоритм Левинсона Сдвиговая структура (10.13) придает специфическую структуру матрице Существует обширная литература по быстрым алгоритмам, которые используют такую структуру. Наиболее простым, но общим примером этих алгоритмов является алгоритм Левинсона [235], описание которого приводится ниже.

Рассмотрим случай AR-модели сигнала

(верхний индекс показывает, что производится подгонка модели порядка). Это соответствует линейной регрессии с при Если применить автокорреляционный метод, приходится решать (10.5), т.е.

для Здесь

а аргумент опущен. Уравнение (10.17) может быть записано в виде

Здесь последних строк идентичны (19.17), а первая строка представляет собой определение

Допустим, что найдено решение (10.19) относительно и требуется отыскать решение для модели (10.16) более высокого порядка Тогда оценки будут определяться аналогично Чтобы найти их, заметим сначала, что

Здесь первые строк идентичны (10.19), а последняя строка является определением Определение выглядит совершенно так же, как (10.20), с той лишь разницей, что все строки правой части, кроме первой, должны быть нулевыми. Таким

образом, попробуем убрать Легко видеть, что (10.20) можно записать в виде

поскольку матрица коэффициентов представляет собой матрицу Теилица. Можно, кроме того, рассматривать последние строк (10.20) как нормальные уравнения для регрессии

Она представляет собой модель сигнала в обратном времени. Так как скалярный стационарный сигнал симметричен по отношению к направлению времени, коэффициенты в (10.22) совпадают с коэффициентами в (10.16). Это является теоретической причиной равенства между (10.20) и (10.21). См. также замечание в конце этого подраздела.

Умножим теперь (10.21) на и прибавим к Получим

Это определяющее соотношение для а Следовательно,

(Здесь шляпка обозначает действительную оценку, основанную на данных, в противоположность параметрам модели . Это выражение позволяет легко вычислить по При начальных условиях

имеем схему для вычисления оценок произвольного порядка. Заметим, что переход от а к в (10.24) требует произвести сложений и умножений и одно

деление. Вычисление требует, таким образом, количества операций, пропорционального что на порядок меньше, чем общие процедуры (10.8)- (10.12). Это объясняет термин быстрый алгоритм.

Алгоритм Левинсона (10.24) широко применялся и был распространен на случай векторной величины z, а также на случай ковариационного метода. См., например, работы Уиттла Уиггинса и Робинсон [436] и Морфа и др. [299].

Замечание. Наиболее важное изменение при работе с векторной величиной z состоит в том, что соответствующая модель в обратном времени (10.20)

порождает оценки параметров отличные от Поэтому схема (10.24) должна бить дополнена аналогичной схемой для пересчета параметров См. задачу 10G.1.

Рис. 10.1. Представление (10.31) решетчатым фильтром

Решетчатые фильтры Рассмотрим предсказатели (10.16) для порядков вычисленные при

Вычитая эти выражения одно из другого и используя (10.24), получаем

где

Выражение (10.29) представляет собой ошибку предсказания в обратном времени (10.22). Учитывая определение (10.29), рассмотрим

Вычитая отсюда (10.29) и снова используя (10.24), получаем

Введя ошибку предсказания

выражения (10.28)-(10.30) можно подытожить следующим образом:

Это простое представление ошибок предсказания (и предсказаний графически изображено на рис. 10.1. В связи со структурей этого представления (10.31) принято называть решетчатым фильтром (иногда лестничным фильтром)

Характерной чертой представления (10.31) является то, что величины удовлетворяют следующим соотношениям ортогональности:

(см. задачу 10D.1). Следовательно, коэффициенты отражения можно легко вычислить по формуле

Схема (10.31) вместе с (10.33) образует эффективный способ оценивания коэффициентов отражения а также предсказаний как альтернативу алгоритму Левинсона. Важный аспект состоит в том, что схема порождает предсказания всех более низких порядков как промежуточный результат. Решетчатые фильтры широко применялись в приложениях по обработке сигналов. См., например, работы Макхоула [272], Гриффитса [148] и Ли, Морфа и Фридландера [229]. По поводу рекуррентной версии см. также раздел 11.7.