§ 8.8. Еще о возможности акселериэации алгоритмов

Акселеризация алгоритмов путем учета априорной информации о решении, как было показано в главе 7, сводилась к определению начальных условий алгоритмов При этом начальное значение матрицы усиления оказалось равным значению обратной фишеровской информационной матрицы, определенной фидуциальной плотностью распределения.

Естественно, чем ближе начальное условие к с, тем быстрее оценки, порождаемые абсолютно оптимальным алгоритмом, достигают своего асимптотического, а значит, и оптимального поведения. При отсутствии такой априорной информации абсолютно оптимальные алгоритмы на конечных шагах могут приводить, вообще говоря, к оценкам очень далеким от с. Возникает задача такой модификации абсолютно оптимальных алгоритмов, которая, не изменяя их асимптотических свойств, позволила бы при конечном получить лучшие оценки, мало зависящие от произвольного выбора начальных условий. Обсуждению этой возможности мы и посвятим настоящий параграф книги.

Абсолютно оптимальные алгоритмы идентификации, обладающие предельно возможной асимптотической скоростью сходимости, имеют вид (3.1.15), (3.2.4а), (3.1.16)

где

Для получения реализуемых алгоритмов мы в предыдущих главах широко использовали замену в матрице усиления вектора оптимального решения с оценкой также нормированной информационной матрицы оценкой

что, в частности, приводило к оценке обратной матрицы усиления

Отсюда, в свою очередь, вытекало рекуррентное представление оценки матрицы усиления

Пойдем еще дальше по этому пути. Поскольку, как это видно из (8.8.3), (8.8.4) и (2.5.7),

то, переходя в (8.8.8) от математического ожидания к его эмпирической оценке, получим

Применяя к (8.8.9) формулу обращения матрицы (1.7.18) и заменяя затем на запишем матрицу усиления в виде рекуррентного соотношения

Сопоставляя (8.8.10) и (8.8.7), замечаем, что получается из путем замены фишеровской информации величиной Таким образом, из абсолютно оптимальных алгоритмов (3.2.3), (3.2.4) заменой в матрице усиления математического ожидания эмпирическим средним мы приходим к абсолютно оптимальным алгоритмам

Заменяя в (8.8.11) и на получаем абсолютно оптимальные на классе алгоритмы

Эти абсолютно оптимальные на классе алгоритмы можно также назвать акселерантными. В них матрица усиления зависит от невязки и это обстоятельство приводит к акселеризации. Чтобы убедиться в этом, рассмотрим два класса распределений: класс распределений с ограниченной дисперсией класс приближенно нормальных распределений (см. табл. 4.1). Для класса имеем и из (8.8.14) — (8.8.16) следуют алгоритмы метода наименьших квадратов. Для класса

Отсюда вытекает, что при большой величине невязки, а именно при второе слагаемое в (8.8.16) обращается в нуль и, значит, матрица усиления остается неизменной, а не уменьшается монотонно с ростом как это имеет место в алгоритмах (8.8.1) — (8.8.3). Постоянство матрицы при ускоряет сходимость алгоритма при малых

Разумеется, изложенный путь акселеризации применим не только к абсолютно оптимальным и абсолютно оптимальным на классе алгоритмам, но и к их модификациям, описанным в настоящей главе. Отметим, что замена в рекуррентных формах матрицы усиления (8.8.7) фишеровской информации на позволяет не только ускорить сходимость, но и обеспечить сходимость в тех случаях, когда при матрицах усиления вида (8.8.7) она может нарушаться для отдельных реализаций.

Рассмотрим простейший пример акселеризации алгоритма оценки среднего значения. Абсолютно оптимальный на классе алгоритм оценки среднего значения, как было показано в § 5-4, может быть записан в виде

где

Из равенства

эквивалентного (8.8.19), вытекает, что можно представить в рекуррентной форме:

Акселерантный алгоритм получается из (8.8.21) после замены на

и

Легко видеть, что при коэффициент усиления не изменяет своего значения, т. е.

Физический смысл таких акселерантных алгоритмов состоит в том, что благодаря постоянству или даже возрастанию коэффициента усиления на некоторых участках процесса адаптации быстрее устанавливаются асимптотические свойства оценок. При этом устраняется существенное влияние начальных условий.