Глава IV. СХОДИМОСТЬ ОСНОВНОЙ ПРОЦЕДУРЫ МЕТОДА ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ

§ 1. Понятия о сходимости случайных процессов

Выше уже отмечалось, что функции выстраиваемые основной процедурой на каждом шаге, — случайные функции. Это связано с тем, что при построении приближения из используется вектор показанный в момент, а он появляется случайно. Таким образом, последовательность функций выстраиваемая в силу основной процедуры, — последовательность случайных функций. Соответственно, случайной является и последовательность векторов коэффициентов в разложении функции по системе Задача аппроксимации состоит в том, чтобы с ростом функция в некотором смысле сходилась к

В связи со случайным характером последовательности функций использованный выше термин «сходимость» может быть понят лишь как сходимость в некотором вероятностном смысле. Сходимость последовательности случайных функций (или случайных величин) к некоторой определенной функции (или величине) может быть определена различными способами. При этом последовательность, сходящаяся в силу какого-либо одного определения сходимости, может оказаться не сходящейся в смысле иного определения сходимости.

В этой книге будут использоваться обычные в теории случайных процессов определения сходимости по вероятности, почти наверное и в среднем.

Далее дело всегда будет сводиться к рассмотрению последовательности не функций, а случайных величин (чисел или векторов).

Будем говорить, что последовательность случайных величин (дискретный случайный процесс) сходится

по вероятности к некоторой величине а и будем писать

если для любой пары величин можно указать такое число зависящее от что для всех вероятность неравенства больше, чем т. е. что для любого

Здесь и далее символ обозначает событие вероятность этого события. Понятия события и его вероятности являются центральными в этой главе. Остановимся поэтому подробнее на содержательном смысле этих понятий применительно к случайным последовательностям. Будем называть каждую конкретную последовательность величин реализацией. Любое множество реализаций, удовлетворяющих некоторому заранее оговоренному условию, и является в рассматриваемом случае событием. Например, множество реализаций, удовлетворяющих для некоторого фиксированного условию образует событие Говоря о вероятности некоторого события можно представить себе, что на множестве всех реализаций задано «распределение вероятностей», а «случайно выбираемые» в соответствии с этим «распределением» реализации принадлежат множеству с вероятностью

Вернемся теперь к определению сходимости по вероятности. Событие фигурирующее в определении сходимости по вероятности, выделяет множество последовательностей, для которых условие выполняется при заданном фиксированном Поэтому при каждом выделяется свое множество реализаций, и каждая конкретная последовательность с ростом

может то удовлетворять этому условию, то не удовлетворять ему. Поэтому сходимость по вероятности есть в некотором смысле «слабая» сходимость — она не дает никаких гарантий того, что каждая конкретная реализация сходится в обычном понимании этого термина. Более того, может оказаться, что сходимость в обычном смысле не имеет места для большинства (или даже для всех) реализаций, а сходимость по вероятности тем не менее имеет место.

Естественно, что обеспечить более сильную сходимость, гарантирующую сходимость в обычном смысле отдельных реализаций, можно, лишь введя и более жесткие требования в само определение сходимости.

Будем говорить, что случайная величина сходится с вероятностью единица (сходится почти наверное) к а и будем писать

если для любой пары величин можно указать такое что вероятность множества реализаций, удовлетворяющих условию для всех больше, чем т. е. что для любого

Так как знак означает пересечения всех множеств при то событие включает лишь те реализации, для которых условие выполнено для всех Поэтому при введенное выше определение сходимости почти наверное означает, по существу, что почти все реализации сходятся в обычном смысле. Действительно, можно

доказать (см., например, [6]), что сходимость почти наверное может быть определена следующим эквивалентным образом: последовательность случайных величин сходится почти наверное к а, если вероятность множества реализаций, для которых предел существует и равен а, равна 1, т. е.

Из сказанного выше следует, что сходимость почти наверное является существенно более сильной, чем сходимость по вероятности. Это обстоятельство подчеркивается тем фактом, что из сходимости почти наверное следует сходимость по вероятности. Действительно, для любой (конечной или бесконечной) совокупности событий вероятность совместного осуществления (т. е. пересечения) этих событий заведомо не больше, чем вероятность каждого события. Поэтому

и в силу определения (2)

Следовательно, если выполнено (2), то выполнено и (1). Обратное же утверждение неверно, т. е. из сходимости по вероятности сходимость почти наверное не следует.

Вместе с тем можно показать [6] (и этот факт нам понадобится впоследствии), что если то существует подпоследовательность такая, что

Наряду с понятием сходимости по вероятности и почти наверное вводят также понятие сходимости в среднем. Говорят, что случайная последовательность сходится к а в среднем, и пишут если

математическое ожидание величины стремится к нулю при

Известно, что из сходимости в среднем не следует сходимость почти наверное и, наоборот, из сходимости почти наверное не вытекает сходимость в среднем. Вместе с тем сходимость в среднем гарантирует сходимость по вероятности. Действительно, если Игл то в силу известного неравенства Чебышева

и это условие эквивалентно определению (1).

Таким образом, сходимость в среднем также является более сильной, чем сходимость по вероятности.

Подытожим теперь то, что говорилось выше о сравнении различных определений сходимости. Определения сходимости почти наверное и сходимости в среднем независимы в том смысле, что при выполнении одного из определений другое может не выполняться. Если выполнено условие какого-либо одного из этих определений сходимости, то имеет место сходимость по вероятности. Из сходимости же по вероятности не следует, вообще говоря, ни сходимость почти наверное, ни сходимость в среднем. Далее в этой главе приводятся примеры, которые, в частности, иллюстрируют эти утверждения (см. стр. 178 и 179).

В различных определениях сходимости фигурирует величина а, к которой в том или кном смысле сходится

случайная последовательность Эта величина а может пониматься как величина детерминированная (одна и та же для всех реализаций процесса или как величина случайная. Понимая а как случайную величину, можно представить себе, что с каждой конкретной реализацией связано свое значение а, так что «распределение вероятностей» величины а определяется «распределением вероятностей» на множестве всех реализаций. В этом случае событие включает все те реализации, которые на шаге отличаются от «своего» значения а менее, чем на

Отметим следующее свойство случайных последовательностей, сходящихся почти наверное к некоторой случайной величине. Именно, почти все реализации таких случайных последовательностей ограничены, так как каждая конкретная реализация, имеющая конечный предел, ограничена.

Как указывалось выше, из сходимости по вероятности и даже сходимости почти наверное не следует, вообще говоря, сходимость в среднем. Однако можно указать дополнительные достаточно широкие условия, при которых сходимость в среднем следует из сходимости по вероятности и тем более из сходимости почти наверное. Эти условия связаны с понятием равномерной интегрируемости.

Обозначим через плотность вероятности случайной величины Последовательность случайных величин назовем равномерно интегрируемой, если для любого найдется такое число что для всех выполнено неравенство

Известно, что сходимость в среднем последовательности к некоторой случайной величине а имеет место тогда и только тогда, когда последовательность равномерно интегрируема и, кроме того, сходится по вероятности к а.

Отметим два достаточных условия равномерной интегрируемости, которые понадобятся нам в дальнейшем. Именно, последовательность равномерно интегрируема: 1) если существует такое число что величины ограничены константой, не зависящей от или 2) если на каждой реализации и, кроме того, величины ограничены константой, не зависящей от

Из того факта, что последовательность случайных величин сходится в среднем к случайной величине а, разумеется, следует, что как

Однако если известно лишь, что а (или, тем более, если то еще нельзя утверждать, что Если же, кроме факта сходимости к а по вероятности (или почти наверное) известно, что последовательность равномерно интегрируема, то последнее утверждение верно, так как в этих условиях имеет место и сходимость в среднем.

Далее в этой главе нам иногда требуется иметь дело с бесконечными суммами случайных величин вида

Такая сумма может пониматься лишь как случайная величина, являющаяся пределом (в смысле почти наверное, по вероятности или в среднем) случайной последовательности частичных сумм

Разумеется, возможны случаи, когда последовательность не сходится (в том или ином смысле), и о предельной случайной величине вообще бессмысленно говорить. Поэтому нужны условия, при которых случайная величина а существует. Одно из таких условий, которое понадобится нам в дальнейшем, заключается в следующем.

Принцип монотонной сходимости. Если неотрицательные случайные величины, такие, что

1) последовательность случайных величин сходится почти наверное при к некоторой случайной величине а последовательность сходится почти наверное при к нулю;

2) последовательность сходится к а также и в среднем:

и, следовательно,

Доказательство. Докажем сначала утверждение 1). В силу неотрицательности величин каждая реализация случайной последовательности монотонно не убывает. Поскольку же, как известно, монотонно неубывающая ограниченная последовательность имеет конечный предел, для доказательства сходимости почти наверное случайной последовательности к некоторой случайной величине достаточно показать, что почти все реализации последовательности ограничены.

Зафиксируем некоторое число а и рассмотрим множество тех реализаций, которые при данном превосходят а. Так как в силу монотонности каждая реализация, принадлежащая принадлежит также и множеству то множества «вложены Друг в друга», т. е.

а предельное множество есть множество тех и только тех реализаций, которые хоть при каком-нибудь превзойдут и останутся больше а. Поэтому вероятность

множества равна пределу

Вероятность же множества последовательностей, не имеющих конечного предела, не превосходит вероятности множества так как Поэтому

Используя неравенство Чебышева, получим оценку

и поэтому

Учитывая теперь, что а число а произвольно и может быть сделано сколько угодно большим, получаем, что

Таким образом, почти все реализации случайной последовательности ограничены и, следовательно, случайная величина существует. Стремление к нулю почти наверное последовательности следует теперь из того факта, что каждой реализации

а по доказанному выше на почти всех реализациях Пункт 1) принципа монотонной сходимости доказан.

Доказательство пункта 2) легко получается, если воспользоваться теперь вторым из приведенных выше достаточных условий равномерной интегрируемости. Именно, в данном случае на каждой реализации и

Следовательно, последовательность равномерно интегрируема. Поэтому доказанная в пункте 1) сходимость почти наверное к а гарантирует одновременно и сходимость в среднем.

Принцип монотонной сходимости доказан.

В этой главе нам часто придется иметь дело со случайными процессами определенного вида, которые называются полумартингалами. Определим это понятие.

Последовательность случайных величин назовем полумартингалом, если математическое ожидание существует при любом и

В этой книге нас будут интересовать главным образом полумартингалы с неотрицательными значениями. Поскольку из определения полумартингала следует, что

то для неотрицательных полумартингалов

и, следовательно, математическое ожидание существует и ограничено при любом если существует Более того, существует неотрицательный предел

так как последовательность монотонно не возрастает и ограничена снизу нулем.

Дж. Л. Дубом (см. [7]) была установлена теорема о сходимости полуматериалов. Для целей настоящей книги

достаточно использовать следующее утверждение, непосредственно вытекающее из теоремы Дуба.

Теорема о сходимости полу мартингалов. Пусть случайная последовательность есть полумартингал, удовлетворяющий условию

Тогда существует случайная величина а такая, что при

причем

Для неотрицательных полумартингалов, как указывалось выше, и поэтому условие приведенной теоремы всегда выполнено.