Приложения

Приложение 6.1. Доказательства теорем из § 6а

А. Доказательство теоремы 6а.1. Теорема 6а.1. Рассмотрим многомерную систему, описываемую уравнениями Пусть

Пусть определены равенствами Тогда

Доказательство части (1). Пусть

Вектор можно записать в виде где -мерный вектор, определенный так же, как и в -матрица вида

-мерный вектор,

Аналогично, определяется по 0. Пусть

Второй член в (2) равен

по определению Проверка показывает, что третий член в (2) неотрицателен. Первый член в (1) равен Следовательно, т. е. для всех Отсюда

Доказательство части Требуется максимизировать по Это эквивалентно максимизации относительно ибо, как нетрудно показать,

по определению Для проверки условий относительно второй производной нам потребуется слегка изменить обозначения. Пусть

Равенство (3) можно переписать в виде

Дифференцируя обе части (5) по а, получаем

Формулы (4) и (7) означают утверждение теоремы

В. Свойства оценок условного максимального правдоподобия в случае систем со многими выходами. (I) Нужно показать, что

где

Доказательство. Подставляя выражение для в (9) и упрощая, получаем

где обратная матрица из (9). Положим

Напоминаем, что статистически не зависит от Поэтому сумма составляется из попарно независимых случайных векторов. Следовательно, В гл. IV было показано, что имеет порядок при допущениях § 6а. Отсюда

(II) Требуется доказать, что

Доказательство. Из (9) имеем

где средний член в (12).

Для упрощения выкладок примем два следующих предположения

(a) асимптотически не зависит от ;

(b) асимптотически примерно равна

Следует отметить, что результат в (11) может быть доказан без принятия этих предположений, но вывод в этом случае — довольно длинный.

Используя предположение получаем

Так как статистически не зависит от когда то член I в (13) равен нулю. Аналогично, равен нулю член II. Член III в (13) равен

Поскольку статистически не зависит от имеем

Так как имеем в асимптотике выражение

Следовательно,

Необходимость в поправочном члене может быть показана так же, как и в вышеприведенном доказательстве части (I).

С. Требуется показать, что выражение для среднеквадратической ошибки, приведенное в части (II), справедливо в асимптотике, даже когда оценка 0 определяется при неизвестной Имеем:

где оценка условного максимального правдоподобия для Пусть или

Подставляя (15) в (14) и упрощая, получаем

Вклад члена II из (16) в коварпационную матрицу ошибок имеет порядок так как ковариационная матрица ошибок имеет порядок Следовательно, член I вносит основную долю в ковариационную матрицу ошибок , что приводит к выражению из предыдущего пункта.

Приложение 6.2. Выражения для апостериорпых плотностей вероятности

А. Теорема 6b.3. Для многомерной системы, описываемой при дополнительных предположениях апостериорная плотность вероятности вектора 0 равна

где

Доказательство.

где обозначает плотность вероятности случайного вектора равную причем известна. Подставляя (18) и выражение для из в (17), получаем

Заметим, что выражение под знаком экспоненты в (19) есть квадратичная функция от 0. Можно заключить, что апостериорная плотность вероятности 0 — нормальная. Окончательно определяем ее, раскрывая выражение в квадратных скобках.

Выражение под знаком экспоненты в правой части (19) равно

Используя равенство (20), получаем требуемую плотность вероятности.

В. Теорема 6Ь.2. Для системы с одним входом имеем

Доказательство. Доказываемое утверждение следует из теоремы 6Ь.З, если положить

Приложение 6.3. Вывод вычислительных алгоритмов

А. Вывод алгоритма из соотношений (21) и (22)

Нам потребуется следующая лемма. Лемма 1.

Доказательство (C2). В силу (22) имеем

Применим лемму об обращении матриц к (23). Получаем

Для получения рекуррентного алгоритма исходим из (21):

Производя подстановку в выражении в фигурных скобках с использованием (21), где заменяется на получаем

Подставляя во второй член вместо его выражение из (24), получаем следующее соотношение для

Используя лемму 1 для упрощения третьего члена этого выражения, получаем

(последняя строка получается изменением порядка членов). Доказательство леммы

согласно (24). Добавляя и вычитая в выражении в фигурных скобках и упрощая, получаем тождество из леммы 1:

В. Вывод алгоритма Алгоритм есть частный случай алгоритма когда

Приложение 6.4. Вычисление нижней границы в неравенстве Крамера — Рао для случая многомерных AR-систем.

Покажем, что оценка условного максимального правдоподобия для имеет асимптотически минимальную дисперсию, даже если неизвестна, причем дисперсия дается нижней границей неравенства Крамера — Рао. Рассмотрим случай из гл. IV, когда известна:

Будем вместо рассматривать в качестве неизвестной величины Обозначим

Пусть

Пусть

Очевидно,

так как статистически не зависит от Следовательно,

Согласно неравенству Крамера — Рао

или

Задачи

(см. скан)

(см. скан)