§ 1.6. Асимптотическая скорость сходимости алгоритмов

Точность оценок порождаемых рекуррентными алгоритмами, можно характеризовать матрицей ковариаций ошибок

где

вектор ошибки. В развернутой форме

где

— компоненты вектора ошибки. Диагональные элементы МКО равны дисперсиям компонент ошибки, а остальные, внедиагональные, элементы МКО - соответствующим значениям корреляционных функций ошибки. Обозначим

и определим асимптотическую матрицу ковариаций ошибок (АМКО) как предел

АМКО характеризует асимптотическую скорость сходимости рекуррентных алгоритмов. Найдем уравнение, которому удовлетворяет АМКО. Для этой цели составим разностное уравнение относительно Приводимый далее вывод этого разностного уравнения носит эвристический характер и не претендует на строгость.

Пользуясь обозначением вектора ошибки запишем рекуррентный алгоритм (15.7), (1.5.11)

в такой форме:

Выбор в виде (1.5.11), как будет видно далее, позволяет обеспечить максимальную скорость сходимости.

Разлагая в степенной ряд в точке с и ограничиваясь линейным приближением по получим приближенно

Но при из (1.4.19) следует

причем в силу четности функции потерь и плотности распределения помехи (1.2.40)

Подставляя (1.6.10) в (1.6.9), получим

Умножив обе части этого уравнения на и обозначив

приходим к уравнению

Но при достаточно больших приближенно

Производя эту замену в (1.6.14) и пренебрегая слагаемыми порядка получим

Но согласно (1.6.5)

Подставляя в из (1.6.15), учитывая некоррелированность четность функции потерь и пренебрегая слагаемыми порядка после несложных преобразований получим

Отметим, что здесь также предполагалось, что

Матрица представляет собой полную информационную матрицу

и, согласно (1.4.5),

Соотношение (1.6.17) представляет собой матричный рекуррентный алгоритм, решающий линейное матричное уравнение

Для его сходимости достаточно потребовать, чтобы все собственные числа матрицы

имели отрицательные действительные части, т. е. чтобы эта матрица была устойчивой. Далее всегда будет предполагаться, что это условие выполняется.

Для полного определения матричного уравнения АМКО осталось вычислить матрицу и матрицу Гессе Замечая, что в силу (1.4.14)

получаем из (1.6.10) при с учетом (1.4.19)

Подставляя из (1.6.23) в выражение для полной информационной матрицы получим

или, в силу независимости

Матрицу

назовем нормированной информационной матрицей. Она в общем случае, как это будет показано далее, зависит от дисперсии помех и оптимального решения с Таким образом,

Далее, из (1.6.22) легко получить, что

Подставляя при в (1.6.19), получим

Учитывая (1.4.19), независимость получим

Используя обозначение нормированной информационной матрицы (1.6.26), окончательно получаем

Подставляя выражения в уравнение АМКО (1.6.20), запишем его в такой форме:

В уравнении АМКО фигурирует нормированная информационная матрица Она играет важную роль в задачах идентификации. Поэтому рассмотрим ее подробнее.

После выполнения несложных, но громоздких преобразований, которые мы здесь опускаем, нормированную информационную матрицу можно представить в виде блочной -матрицы:

где вектор оптимального решения, среднее значение и дисперсия входного воздействия дисперсия помех, а прямоугольные матрицы, не зависящие от характеристик помех и входных воздействий Если в уравнении объекта какие-либо векторы коэффициентов или отсутствуют, т. е. равны нулю, то в нормированных информационных матрицах исключаются соответствующие строки и столбцы и размерность блочной матрицы уменьшается. Конкретный вид матриц будет приведен далее.

Рассмотрим частные случаи. Для -объекта с простой помехой и из (1.6.33) следует

3 этом случае нормированная информационная матрица не зависит дисперсии помехи и вектора оптимального решения Для -объекта с преобразованной помехой и из (1.6.33) следует

Эту нормированную информационную матрицу можно записать в

где

и

При этом Для Р-объекта с преобразованной помехой нормированная информационная матрица зависит от компонент вектора оптимального решения и линейно от дисперсии помехи Для АР-объекта Поэтому из (1.6.33) получаем

где

Для АР-объекта нормированная информационная матрица пропорциональна дисперсии помехи и зависит от вектора оптимального Решения

Наконец, для РАР-объекта нормированную информационную матрицу можно представить в виде

где

и

Для РАР-объекта, так же как и для Р-объекта с преобразованной помехой, нормированная информационная матрица линейно зависит от дисперсии помехи

Примеры нормированных информационных матриц для простейших объектов при приведены в табл. 1.1.

Матричное уравнение определяет алгоритмов стохастической аппроксимации (1.6.7) при заданной матрице В, т. е. при заданной матрице усиления Оно может быть использовано для исследования влияния выбора той или иной матрицы В на асимптотическую скорость сходимости алгоритмов стохастической аппроксимации.

К сожалению, в общем случае уравнение АМКО не разрешимо. Однако для ряда важных частных случаев его можно решить и найти явное выражение АМКО. Далее этой возможностью мы и воспользуемся.