Приложение 2. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ

1. Введение

В этом приложении обсуждаются те предельные теоремы, которые являются основой методов стохастической аппроксимации. В § 2 изучается сходимость последовательностей случайных величин. Большую часть этих результатов можно найти в книге Лоэва [1].

В § 3 изучаются свойства многомерной характеристической функции, являющиеся обобщениями результатов Лоэва [1] и, в частности, одного результата Сакса [1], который позволил ему дать упрощенное доказательство асимптотической нормальности. Наконец, доказываются некоторые теоремы об условном математическом ожидании (и их модификации); по этому поводу см. Дуб [1] и Лоэв [1].

2. Сходимость последовательности случайных величин

Теорема 1. Необходимым и достаточным условием сходимости последовательности случайных величин к случайной величине X с вероятностью единица является существование для каждого такого положительного целого числа что если то

Доказательство. Заметим, что это условие эквивалентно условию

(кликните для просмотра скана)

Если выполняется условие теоремы, то правая часть равна нулю, откуда следует, что

Обратно, если

для всех Теорема доказана.

Теорема 2. Необходимым и достаточным условием сходимости последовательности случайных величин к некоторой случайной величине с вероятностью единица является существование для каждого такого целого положительного числа «что если то

Доказательство. Условие теоремы эквивалентно условию

для каждого целого положительного Имеем

(см. скан)

Так как является последовательностью Коши, то множество

принадлежит борелевскому полю Отсюда его полнение

также принадлежит . Таким образом,

Если выполняется условие теоремы, то правая часть равна нулю. Если же выполняется заключение теоремы, то равна нулю левая часть. Далее, если последовательность Коши, то

Заметим, что

Теперь из соотношения

следует, что является измеримой функцией (случайная величина принимает конечные значения). Если принимает конечное

значение, то имеет предел с вероятностью единица и этот предел является случайной величиной.

Лемма Бореля — Кантелли. Если каждое из содержится в то

Доказательство, а принадлежит бесконечному числу событий

Так как из соотношения (1) следует, что

Теорема 3. Если для некоторого выполняется неравенство с вероятностью единица.

Доказательство.

Отсюда следует, что выполнено условие теоремы 1.

Следствие. Необходимым и достаточным условием сходимости последовательности случайных величин к некоторой случайной величине с вероятностью единица является существование для положительного целого числа такого, что если то

Доказательство. Имеем

В самом деле, если

то

Предположим, что точка со тогда существует пара такая, что Отсюда следует, что

так как в противном случае

Таким образом, если , то Теперь требуемый результат вытекает из теоремы 2.

Лемма 1 (Буркхольдер). Предположим, что последовательность является непрерывно сходящейся в точке 0 к числу (т. е. если действительная числовая последовательность с пределом 0, то тогда для любого существуют такие, что если то

Доказательство. Допустим, что. сказанное выше неверно; тогда существует такое, что для любой пары где целое положительное, существует пара удовлетворяющая условию Таким

образом, для любых существует пара такая, что

Пусть любая последовательность с пределом , такая, что тогда

Но поэтому что противорёчит нашему предположению.

Лемма 2 (Буркхольдер). Пусть последовательность случайных величин и каждая из функций целое число) есть действительная измеримая по Борелю функция) определенная на множестве действительных чисел. Предположим, что последовательность является непрерывно сходящейся в точке 0 к числу кроме того, равномерно ограниченной. Предположим также, что если то существует и конечно, а если то

Тогда

Доказательство. Пусть По предположению К конечно. Из предположения также следует, что существует и конечно для всех Пусть и так как является непрерывно сходящейся в точке 0 к числу существуют такие, что если то Таким образом, для

откуда следует требуемый результат.

Лемма 3. Если случайные величины, положительное число, такое, что то для всех действительных х, где является функцией распределения величины функцией распределения величины

Доказательство. Для любого действительного х

Поэтому Аналогично можно показать, что

Лемма 4 (Буркхольдер). Если измерима по Борелю, то и

измерима по Борелю.

Доказательство. Если для каждого положительного целого является измеримой по Борелю относительно х, то и обладает тем же свойством, так как для каждого действительного х. Положим

тогда при стремящемся к поскольку Но измерима по Борелю, откуда и следует требуемый результат.

Определение. Если А — множество действительных чисел, комплексная функция, область определения которой содержит положительное число, положим

Определение. Если функция, отображающая интервал действительных чисел то называется измеримой по Борелю на 1, если измеримой по Борелю является функция где

Теорема 4 (Буркхольдер). Пусть I — интервал действительных чисел и для каждого функция распределения, такая, что если то измерима по Борелю на Пусть функция, определенная на и такая, что 1) если то существует, 2) если измерима по Борелю на I и 3) для каждого равномерно по при Тогда функция равная для

измерима по Борелю на

Доказательство. Если для каждого функция для измерима по Борелю на то и измерима по Борелю на I, так как сходится к

Пусть Из предположений следует, что непрерывна для каждого Отсюда

есть интеграл Стильтьеса от относительно так как функция с ограниченной вариацией. Таким образом, существуют последовательность натуральных чисел и двойная последовательность такие, что

и для каждого x из

где

В силу сделанных предположений сходится на I к Очевидно, измерима по Борелю на для Поэтому и измерима по Борелю на Это завершает доказательство теоремы.

Теорема 5 (Буркхольдер). Пусть для каждого множество есть множество независимых случайных величин, где имеет функцию распределения является функцией распределения случайной величины Предположим, что если то измерима по Борелю, Тогда для каждого измерима по Борелю.

Доказательство. Пусть характеристическая функция величины

а характеристическая функция величины Таким образом, если то

Так как

то, применяя теорему 4, получаем, что если то каждая из функций

измерима по Борелю, Используя равенство (1), получаем аналогичное утверждение и для Из соотношения

следует, что равномерно по х при 0. С помощью варианта Роббинса формулы обращения Леви имеем, если что

Применяя метод, аналогичный методу, использованному при доказательстве теоремы 4, можно показать, что если то измеримапо Борелю. Покажем теперь, что отсюда следует требуемый результат.

Пусть Для каждого

измерима по Борелю. Таким образом, поскольку

то и измерима по Борелю.