ГЛАВА 3. Абсолютно оптимальные алгоритмы идентификации

§ 3.1. Формирование оптимальных и абсолютно оптимальных алгоритмов

Оптимальные алгоритмы, получаемые алгоритмов метода стохастической аппроксимации при надлежащем выборе матрицы усиления, обладают максимальной скоростью сходимости, характеризуемой (2.2.18). Попытаемся сформировать эти оптимальные алгоритмы независимо от схемы метода стохастической аппроксимации.

Напомним, что при выводе АМКО, изложенном в § 2.2, было использовано приближенное выражение оценки

Как было отмечено ранее (см. (2.1.14)}, при

Произведя в (3.1.1) замену матрицы Гессе на и

изменив обозначение на получим

а значит, и

где, напомним (см. (2.1.6)),

Вычитая (3.1.4) из (3.1.3), получим

Вычислим разность градиентов. Учитывая (3.1.5), находим

При больших второе слагаемое в правой части (3.1.7) имеет порядок убывания Пренебрегая этим слагаемым, получим

Заменим в правой части этого приближенного равенства неизвестное оптимальное решение с на оценку которая при больших близка к с; будем иметь

Далее, как было уже ранее показано (см. (1.6.31)),

Подставляя в (3.1.6) выражение матрицы Гессе из (3.1.10) и заменяя разность градиентов приближенным значением (3.1.9), получим рекуррентный алгоритм

где

Этот рекуррентный алгоритм получен из уравнения (3.1.3), определяющего оценку которой, как показано в § 1.7, равна

Но рекуррентный алгоритм (3.1.11), (3.1.12) полностью совпадает с оптимальным алгоритмом стохастической аппроксимации (1.7.11), (1.7.12) при фиксированной функции потерь Такой алгоритм стохастической аппроксимации является оптимальным по матрице усиления и обладает максимальной в этих условиях (когда функция потерь фиксирована) скоростью сходимости, определяемой АМКО (3.1.13). При замене одной функции потерь другой будет изменяться и для некоторой функции достигнет минимума. Назовем оптимальный алгоритм, обладающий максимальной скоростью сходимости по всем допустимым функциям потерь, абсолютно оптимальным алгоритмом.

Поскольку максимальная скорость сходимости оптимального алгоритма достигается при оптимальной функции потерь то отсюда следует, что абсолютно оптимальный алгоритм представляет собой оптимальный алгоритм при оптимальной функции потерь

Для получения абсолютно оптимального алгоритма нужно в оптимальном алгоритме (3.1.11), (3.1.12) произвести замены

и

где фишеровская информация (2.5.7). Производя эти замены, запишем абсолютно оптимальный алгоритм в виде:

где

Принимая во внимание, что (см. (2.5.7))

находим из (3.1.13) АМКО абсолютно оптимального алгоритма

Правая часть этого равенства совпадает с нижней границей неравенства Крамера — определяющей предельно возможную скорость сходимости несмещенных оценок. Поэтому абсолютно оптимальные алгоритмы обладают предельно возможной скоростью сходимости, которая не может быть превзойдена никакими иными алгоритмами и методами, порождающими несмещенные оценки.

В заключение отметим, что если оптимальные алгоритмы — это алгоритмы стохастической аппроксимации, оптимальные по матрице усиления, то абсолютно оптимальные алгоритмы — это алгоритмы стохастической аппроксимации, оптимальные как по матрице усиления. так и по функции потерь.