§ 4. Доказательство теорем

Докажем сформулированные теоремы.

1. Доказательство теоремы 9.1. Итак, пусть выполнены условия теоремы 9.1. Обозначим через

прообраз функции

минимизирующей величину эмпирического риска

Нашей целью является доказательство того, что сходится по вероятности к в метрике или, что то же самое, последовательность случайных величин

стремится по вероятности к нулю с ростом

Заметим, что

где

Так как решение принадлежит то с ростом о последовательность стремится к нулю. Поэтому для доказательства теоремы 9.1 достаточно показать, что

Оценим величину

Для этого определим вектор на котором достигается минимум эмпирического риска. Перепишем (9.29) в виде

где обозначено

Обозначим через ковариационную матрицу, элементы которой равны

а через -мерный вектор с координатами Тогда вектор доставляющий минимум (9.32), находится так:

Поэтому справедлива оценка

С другой стороны, справедливо

Из неравенств (9.33) и (9.34) получаем

Таким образом, для доказательства теоремы достаточно оценить сверху норму матрицы и норму вектора

Оценим Для этого заметим, что норма матрицы не превосходит где наибольшее собственное число матрицы, а норма матрицы не превосходит где наименьшее собственное число матрицы

Оценим снизу величину Для этого рассмотрим положительно определенную квадратичную форму

которую будем исследовать в области Так как вполне непрерывный оператор А из в С ограничен, то справедливо неравенство

откуда вытекает, что в области выполняется неравенство

и, следовательно,

Рассмотрим теперь выражение

Заметим, что

С помощью преобразования поворота перейдем к новой дважды ортогональной системе функций такой, что

где собственные числа матрицы

Для оценки собственных чисел воспользуемся теоремой о равномерной сходимости средних к их математическим ожиданиям для класса ограниченных функций (теорема 7.3).

Так как функции при ограничены величиной то справедлива оценка (см. § 3 гл. VII)

или, учитывая (9.38), получаем

Потребуем, чтобы вероятность не превосходила Для этого достаточно, чтобы х было не меньше величины

Из (9.39) и (9.40) следует, что с вероятностью все собственные числа находятся в интервале

откуда заключаем, что с вероятностью 1 — выполняется неравенство

Подставляя (9.42) в (9.35), получим, что с вероятностью справедливо

Нам осталось оценить величину

Для этого найдем математическое ожидание

где константы, не зависящие от Для оценки величины используем неравенство Чебышева для первого момента положительной величины

где потребуем А так как то получаем

Таким образом, с вероятностью

Подставляя (9.44) в (9.43), получаем что для достаточно больших I с вероятностью выполняется неравенство

где с — некоторая константа.

Из неравенства (9.45) следует, что стремится по вероятности к нулю при

Теорема доказана.

2. Доказательство теоремы 9.2. Пусть теперь решение операторного уравнения (9.1) подчинено дополнительному условию

Покажем, что в этом случае условия

являются достаточными условиями того, что последовательность решений сходится по вероятности к решению операторного уравнения (9.1) в метрике С. Обозначим через

где вектор, доставляющий минимум (9.29). Нашей целью является доказательство того, что

Заметим, что

где обозначено

Так как по условию теоремы (9.46) второе слагаемое суммы (9.48) стремится к нулю с ростом I, то достаточно показать, что

Для доказательства этого факта воспользуемся оценкой

справедливость которой вытекает из ограниченности оператора А.

При доказательстве теоремы 9.1 было показано, что с вероятностью справедлива оценка

Подставляя ее в (9.50), получим, что с вероятностью справедлива оценка

Из оценки (9.51) следует, что стремится по вероятности к нулю, если

Теорема 9.2 доказана.

3. Доказательство теоремы 9.3. Пусть число членов разложения решения операторного уравнения определяется минимальным значением оценки (9.26). Покажем, что если решение операторного уравнения удовлетворяет условию

то рассмотренный алгоритм задания числа членов разложения удовлетворяет условиям:

Покажем справедливость условия (9.53). Предположим противное. Пусть а вместе с тем для любого выполняется неравенство

Согласно теореме 7.6 для достаточно больших I с вероятностью справедливо

Представим величину в виде

где

и оценим ее:

Таким образом, с вероятностью должна быть справедлива оценка

Преобразуем и оценим выражение в числителе правой части (9.56):

Заметим, что, согласно закону больших чисел,

Поэтому для достаточно больших I с вероятностью должно выполниться неравенство

Однако для неравенство (9.57) неверно с вероятностью единица. Полученное противоречие доказывает справедливость условия (9.53).

Покажем теперь, что справедливо и условие (9.54). Для этого заметим, что всегда выполняются неравенства

Найдем математическое ожидание левой части неравенства (9.58)

Заметим., что при фиксированном числе справедливо

Поэтому выполняется неравенство

Так как неравенство (9.59) справедливо для любого выполнено условие и условие то имеет место неравенство

С другой стороны, воспользуемся оценками среднего и дисперсии:

значения параметров, доставляющих минимум

Справедливость этих оценок мы покажем ниже. Используем неравенство Чебышева

Согласно же условию теоремы Поэтому

и, следовательно, согласно лемме Бореля — Кантелли (см. § 2), с вероятностью единица имеет месго сходимость

Таким образом, с вероятностью единица выполняются неравенство

и равенство

откуда следует, что с вероятностью единица

Выражение (9.62) и составляет содержание теоремы 9.3. При доказательстве теоремы мы использовали равенство (9.60) и неравенство (9.61). Получим их:

С помощью преобразования поворота перейдем к системе координат такой, что

В этой системе координат

где обозначено

Таким образом, получим

Теорема доказана.