9.10. АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ РЕШЕНИЙ РЕКУРРЕНТНЫХ СООТНОШЕНИЙ

В этой и предыдущей главах мы неоднократно получали правила решения, определенные с помощью рекуррентных соотношений либо непосредственно (в гл. 8), либо через параметры с аппроксимирующего правила решения или (в этой главе) по имеющимся эмпирическим данным. Любое из этих соотношений может быть записано в стандартной форме:

где в зависимости от вида задачи — само решение, как в гл. 8, или параметры с аппроксимирующего правила решения совокупность получаемых на шаге эмпирических данных — или или еще и значение потерь и т. п.; некоторая функция, математическое ожидание которой

имеет минимум в точке В качестве функции выступала функция среднего риска (или апостериорного риска в некоторых задачах гл. 8).

Кроме того, каждый раз, когда встречались рекуррентные соотношения типа (9.10.1), шла речь о возможности их упрощения за счет отбрасывания второго из них и замены в первом весовой матрицы какой-либо априори задаваемой матрицей, обеспечивающей сходимость первого из соотношений (9.10.1) к например, диагональной матрицей где последовательность коэффициентов удовлетворяет условиям (8.2.18), (8.2.19). Рассмотрим теперь, во что обходится это упрощение и как это влияет на эффективность рекуррентной процедуры.

Исследуем для этого асимптотическое поведение решения рекуррентных соотношений (9.10.1) и получающегося из них рекуррентного

соотношения с заменой матрицы некоторой априори задаваемой матрицей IV Будем при этом предполагать, что условия сходимости выполнены. Тогда, начинай с некоторого достаточно большого разности малы и соотношение (9.10.1) можно линеаризовать. Введя обозначение

получим из (9.10.1) приближенные линейные относительно соотношения:

где

— случайный вектор, математическое ожидание которого

по условию обращения в минимум в точке

— случайная матрица, математическое ожидание которой

является положительно определенной матрицей в силу того, что в точке функция достигает минимума. Заметим, что для справедливости приведенных выше соотношений требуется, чтобы функции были трижды дифференцируемы, математическое ожидание абсолютного значения третьей производной ограничено и операции дифференцирования и вычисления математического ожидания перестановочны.

Второе из рекуррентных соотношений (9.10.4) имеет очевидное решение

которое при достаточно больших сходится к матрице

Умножим теперь первое из рекуррентных соотношений (9.10.4) на слева. Тогда

При достаточно больших матрица и это соотношение эквивалентно следующему:

или

решение которого имеет вид

При ненулевом начальном значении к этому решению добавляется величина которая при с вероятностью единица сходится к нулю, а при достаточно больших является малой величиной порядка по отношению к среднеквадратичному значению (9.10.11).

Из выражения (9.10.11) следует, что отклонение асимптотически нормально с корреляционной матрицей

где

— корреляционная матрица вектора градиента функции в точке

Таким образом, среднеквадратичное значение отклонения имеет порядок 1 и характеризуется корреляционной матрицей зависящей от матрицы В вторых производных функции в точке и корреляционной матрицы вектора градиента функции в той же точке. Вероятно, стоит подчеркнуть, что матрица действительно характеризует ошибки определения значения по рекуррентным соотношениям (9.10.1) только асимптотически. При небольших значениях корреляционная матрица этих ошибок может существенно отличаться от (9.10.12), а ошибки определения значения заметно превышать те, которые задаются этой матрицей. Выражение (9.10.12) является точным, т. е. характеризует ошибки определения при всех в том случае, когда функция квадратично зависит от и матрица В (9.10.7) совпадает со своим математическим ожиданием.

Покажем, что матрица характеризует нижнюю грань ошибок определения значения по совокупности наблюденных данных и при отсутствии иной априорной информации, кроме знания вида функции Это будет означать, что рекуррентные соотношения (9.10.1) обеспечивают наибольшую достижимую точность определения неизвестного значения , минимизирующего функцию и никакой другой способ отыскания минимума неизвестной функции в том числе рекуррентные соотношения с иным выбором весовой матрицы в (9.10.1), не может дать лучшей точности. Для доказательства заметим, что любые из рассматриваемых рекуррентных соотношений яйляются средством получения приближенного решения уравнения для градиента эмпирической оценки функции

Поэтому любая оценка значения не может быть точнее, чем решение этого уравнения. Пусть это решение есть Составим разность

В силу того, что значение удовлетворяет уравнению (9.10.14), эта разность имеет корреляционную матрицу

совпадающую с матрицей (9.10.12). С другой стороны,

где определяется выражением (9.10.7); некоторая функция с тремя индексами, такая, что произведение имеет смысл матрицы, которая ограничивает абсолютные значения третьих производных функции в точке и по предположению имеет конечное математическое ожидание

Из (9.10.17) можно найти величину отклонения

При произведение сходится к единичной матрице, сумма сходится к нулю в силу ограниченности математического ожидания и сходимости к нулю величины отклонения . Благодаря этому имеет место асимптотическое равенство следовательно, корреляционная матрица ошибки определения значения стремится к корреляционной матрице вектора которая совпадает с матрицей Таким образом, наилучшая оценка значения . определяемая решением уравнения (9.10.14), асимптотически имеет точность, задаваемую матрицей а всякая другая оценка будет иметь небольшую точность.

Рассмотрим теперь асимптотические свойства решения рекуррентного уравнения, получающегося из первого из соотношений (9.10.1) заменой некоторой другой заданной матрицей IV Вновь предполагая сходимость к , обеспечивающую малость отклонения начиная с некоторого достаточно большого и линеаризуя рекуррентное соотношение, получаем

где определяются прежними выражениями. Предположим теперь, что при некотором выборе убывающей последовательности матриц IV отклонение при достаточно большом имеет корреляционную матрицу

где а матрица не зависит от Очевидно, если то рекуррентное соотношение для с заменой на имеет такие же асимптотические свойства, что и рекуррентная процедура (9.10.1), с точностью до различия между матрицами из (9.10.12). Если же получается неограниченно возрастающий проигрыш в точности определения значения 0.

Условие (9.10.20) означает, что при достаточно большом величины могут быть представлены в виде

где вектор имеет корреляционную матрицу не зависящую от Умножим соотношение (9.10.19) на и перейдем к соотношению для

где учтено, что благодаря убыванию последовательности произведение

Используя это выражение, образуем произведение туцт и вычислим его математическое ожидание. При этом следует учесть, что при достаточно больших

Кроме того, поскольку не зависит от она статистически независима от и и учтем также, что исходя из требований сходимости и условий на аналогичных (8.2.18), (8.2.19) для простейшего случая при имеет место равенство . С учетом перечисленного получим

где та же матрица, что в (9.10.23), а матрица В определяется выражением (9.10.8). Из этого выражения получаем следующее уравнение для определения корреляционной матрицы

Это уравнение имеет решение только в том случае, когда

где постоянная матрица, и

Только в этом случае существует стационарное решение для а отклонение имеет асимптотическую корреляционную матрицу задаваемую выражением (9.10.20) и убывающую при как Условие (9.10.27) показывает, что получить среднеквадратичное отклонение, убывающее быстрее, чем невозможно.

При уравнение для при принимает вид

где учтено, что матрица В симметричная. В этом случае асимптотическая корреляционная матрица имеет порядок и получается неограниченно возрастающий с ростом проигрыш в точности определения значения 0 по сравнению с потенциально достижимой точностью, задаваемой матрицей из (9.10.12).

В связи с этим весовую матрицу IV целесообразно выбирать так, чтобы при достаточно больших

что соответствует и гарантирует отсутствие неограниченно возрастающего проигрыша в точности. При т. е. при выполнении (9.10.29), уравнение для матрицы принимает вид

Нетрудно убедиться, что матрица совпадает с матрицей из (9.10.12), характеризующей потенциально достижимую точность, в том единственном случае, когда

Во всех других случаях т. е. переход к упрощенной рекуррентной процедуре даже при правильном выборе порядка изменения IV в соответствии с (9.10.29) дает проигрыш в точности. При этом, как видно из (9.10.30), для того чтобы среднеквадратичное отклонение величины имело при порядок дополнительно требуется, чтобы все собственные числа матрицы имели положительные действительные части.

Если матрицы и В диагональны, т. е.

где индексы нумеруют компоненты вектора , уравнение (9.10.30) имеет простое решение

В тех же условиях матрица определяющая максимально достижимую точность, равна

В частности, ошибки определения компоненты вектора характеризуются следующими дисперсиями:

а их отношение, определяющее проигрыш в точности при переходе к упрощенному рекуррентному соотношению, равно