§ 2. Ряды

Ключом к изучению сумм взаимно независимых случайных величин является то обстоятельство, что, грубо говоря, частные суммы не могут быть велики, если мала полная сумма. Этот факт выражают следующие две теоремы.

Теорема 2.1. Пусть случайные величины, для которых

и

Тогда для любого

Если, кроме того, с вероятностью 1

то

Первая часть теоремы является просто приложением хорошо известного неравенства Чебышева, которое можно здесь не доказывать. Дополнительное предположение (2.2), состоящее в том, что процесс является мартингалом (см. гл. II, § 7), заведомо выполнено, если величины у, взаимно независимы, а принадлежащее Колмогорову доказательство (2.1) для случая независимых переносится без изменения и на общий случай. Приведем это доказательство. Пусть первое из тех для которых если только такие существуют. Тогда

Если определить теперь равенством

то интеграл от второго члена в скобках становится равным и так как зависит только от то в силу (2.2)

Следовательно,

что и дает нам искомое неравенство. Обобщение этого результата см. в теореме 3.2 гл. VII.

Теорема 2.2. Пусть взаимно независимые случайные величины, и пусть Тогда если разности имеют симметричные распределения, то при любом и любом

Правая половина этого двойного неравенства остается верной, если предположить только, что каждая из разностей имеет нулевую медиану, но не обязательно распределена симметрично. Ясно, что

С другой стороны, используя предположения о симметричности и о независимости и обозначив через первое из тех для которых (если такие существуют), имеем

Складывая (2.5) и (2.6), получим правое из неравенств (2.4). Заметим, что даже если не имеет симметричного распределения, а всего лишь

так что

то неравенство (2.6) остается выполненным (лишь в четвертой строке этого неравенства надо заменить первый знак знаком и знак знаком . В частности, если каждая из разностей имеет нулевую медиану, то (2.6), а следовательно, и правое из неравенств (2.4) останутся в силе. Чтобы получить другую половину неравенства (2.4), ваметим, что если и если каждая из разностей распределена симметрично, то

Сложив (2.5) и (2.7), мы получим левое из неравенств (2.4).

Правая половина неравенства (2.4) является наиболее важной; левая половина будет использована в этой книге только в гл. VIII. Имеется один важный частный случай, когда может быть получена более точная оценку. Если все принимают только значения с вероятностью 1/2 для каждого из этих значений, и если — любое целое число, то

Неравенство (2.8) доказывается при помощи небольшого видоизменения неравенства (2.6), основанного на следующей идее: если где целое число, то существует первое из скажем равное при этом условии любая последовательность значений оканчивающаяся значением имеет ту же вероятность, что и та же самая последовательность, отраженная относительно прямой следовательно, оканчивающаяся теперь значением (принцип отражения Андре). Отсюда

а это последнее соотношение вместе с (2.5) и дает (2.8). Проведенная только что оценка используется в задаче о разорении игрока. Рассмотренный метод приложим, конечно, и к тому случаю, когда принимают только значения (вместо ± 1), а отсюда всего лишь один шаг до получения оценки в предельном случае, когда параметр меняется непрерывно, т. е. величины заменяются на и процесс становится процессом брауновского движения. Существенным моментом в доказательстве является существование первого значения параметра, при котором достигается значение Это значение существует, очевидно, и тогда, когда изменяется, как выше, только и X кратно числу и тогда, когда параметр непрерывен и выборочные функции являются непрерывными функциями от гл. VIII).

Теорема 2.3. Пусть - взаимно независимые случайные величины с дисперсиями Тогда если и если ряд сходится, то ряд сходится с вероятностью 1 и сходится в среднем. При этом

и если положить то 1

Обратно, если существует, то ряды сходятся.

По теореме 2.1 при фиксированном

Если является точкой непрерывности функции распределения случайной величины то при отсюда следует, что

В силу соображений непрерывности это неравенство верно при всех Полагая найдем, что верхний и нижний пределы последовательности с вероятностью 1 конечны и

Отсюда следует (если положить что эти нижний и верхний пределы с вероятностью 1 отличаются не больше, чем на где произвольно и, следовательно, равны с вероятностью 1. Поэтому ряд сходится с вероятностью 1, а так как по предположению сходится

и ряд то сходится с вероятностью 1 и ряд Неравенство (2.10) является частным случаем (2.12) при Так как

то ряд сходится в среднем, а это вместе со сходимостью ряда влечет за собой и сходимость в среднем ряда Сходимость в среднем обладает тем свойством, что из равенства следует и из этого общего свойства вытекает (2.9). Обратно, если в смысле сходимости в среднем, то в силу того же самого свойства сходится к Следовательно, также сходится в среднем, то есть существует. Наконец, проведенное выше вычисление показывает, что

Так как разности взаимно ортогональны, то доказанная теорема может рассматриваться как теорема об одном очень частном классе ортогональных рядов; она является вариантом в узком смысле теоремы 4.1 гл. IV.

Теорема 2.3 означает, что сходимость в среднем ряда влечет за собой сходимость этого ряда с вероятностью 1. Основной факт теории рядов из взаимно независимых случайных величин состоит в том, что почти всякое ограничение на размах частных сумм ряда (например, требование сходимости в среднем) влечет за собой сходимость ряда с вероятностью 1. Прежде чем разобраться подробно в этом вопросе, заметим, что множество выборочных последовательностей величин для которых имеет место сходимость, выделяется условиями, накладываемыми на при больших Иными словами, здесь приложим закон нуля или единицы (теорема 1.1), который утверждает, что сходимость (к конечному пределу) имеет место или с вероятностью 1, или с вероятностью 0.

Пусть последовательность взаимно независимых случайных величин. Если существуют постоянные такие, что сходится с вероятностью 1, то о ряде говорят, что он сходится после центрирования с вероятностью 1, а постоянные называют центрирующими константами. Если -другая последовательность постоянных, то она будет последовательностью центрирующих констант тогда и только тогда, когда ряд сходится. Если ряд сходится после центрирования с вероятностью 1 и если существуют

центрирующие константы для которых ряд сходится с вероятностью 1 при любой перестановке его членов, то постоянные называют абсолютно центрирующими константами. Если - любая другая последовательность постоянных, то будут абсолютно центрирующими константами тогда и только тогда, когда сходится ряд как ряд должен в этом случае сходиться при любой перестановке его членов). В теореме 2.6 будет показано, что если существуют центрирующие константы, то существуют и абсолютно центрирующие константы (и что суммы рядов, в которые входят эти константы, не зависят от порядка суммирования). В качестве примера рассмотрим случай, когда имеют конечные дисперсии Тогда в силу теоремы 2.3 математические ожидания являются соответствующими центрирующими константами. Так как ряд 2 сходится при любой перестановке его членов, то это же самое верно и для ряда

А это значит, что являются и абсолютно центрирующими константами. С другой стороны, последовательность является последовательностью центрирующих констант рассматриваемого ряда тогда и только тогда, когда ряд сходится, и последовательностью абсолютно центрирующих констант тогда и только тогда, когда сходится ряд

Даже в том случае, когда нет конечных дисперсий, центрирующие константы всегда могут быть выписаны явным образом. Например, теорема 2.6 дает выражение центрирующей константы, зависящее только от слагаемого.

Следующая теорема представляет собой ослабленное обращение теоремы 2.3 в той ее части, которая относится к сходимости с вероятностью 1.

Теорема 2.4. Пусть -взаимно независимые равномерно ограниченные случайные величины, с дисперсиями Тогда если ряд сходится с вероятностью I, то сходятся и ряды

Пусть и характеристические функции, соответственно, Так как распределение сходится к распределению х, то равномерно в каждом конечном интервале значений Используя неравенство (11.14) гл. I, получим, что

правая часть этого неравенства конечна при достаточно малом Но тогда в силу теоремы 2.3 ряд сходится с вероятностью 1. Так как с вероятностью 1 сходится также ряд то должен сходиться и ряд.

Теорема 2.5 (теорема о трех рядах). Пусть взаимно независимые случайные величины, и пусть последовательности чисел, для которых

Положим

где При этих условиях ряд сходится с вероятностью 1 тогда и только тогда, когда сходятся ряды

Если ряд сходится, то так что с вероятностью при достаточно большом (зависящем от Следовательно, по лемме Бореля — Кантелли (теорема 1.2) сходится первый из рядов (2.15). Сходимость двух других рядов в (2.15) доказывается применением теоремы 2.4 к ряду который также сходится с вероятностью 1. Обратно, предположим, что все три ряда в (2.15) сходятся. Тогда по теореме 1.2 с вероятностью 1 будет при достаточно большом (зависящем от и поэтому из сходимости с вероятностью 1 ряда которая имеет место, так как сходятся его средние и дисперсии, вытекает сходимость ряда

Если ряд из взаимно независимых случайных величин после центрирования сходится с вероятностью 1, то вовсе не очевидно, что будет сходиться с вероятностью 1 после центрирования ряд из тех же слагаемых, но расставленных в другом порядке. Однако на самом деле это верно и может быть доказано различными способами. Например, мы покажем (теорема 2.7), что ряд сходится с вероятностью 1 после центрирования тогда и только тогда, когда сходится всюду бесконечное произведение, сомножителями которого являются абсолютные значения характеристических функций величин Так как сходимость этого произведения не зависит от порядка сомножителей, то, значит, и рассматриваемое нами свойство ряда не зависит от порядка суммирования. Другое доказательство

этого же факта основано на том, что из существования последовательности центрирующих констант следует существование последовательности абсолютно центрирующих констант. Это утверждение содержится в следующей теореме.

Теорема 2.6. Пусть - взаимно независимые случайные величины и пусть ряд после центрирования сходится с вероятностью 1. Тогда

(I) Существуют абсолютно центрирующие константы

Например, если медианы величин и

то мы можем положить Если величины имеют симметричные распределения, то последовательность является последовательностью абсолютно центрирующих констант.

(II) Если абсолютно центрирующие константы, то с точностъю до значений на множестве нулевой вероятности сумма не зависит от порядка суммирования, и для любой подпоследовательности ряд имеет постоянные с своими абсолютно центрирующими константами.

Доказательство утверждения (I). Пусть -центрирующие константы для величин так что ряд сходится с вероятностью 1. Тогда Величины получаются в результате урезания величин на а единиц выше и ниже их медиан При больших это примерно эквивалентно урезанию на а единиц выше и ниже 0. Такое урезание является одним из допускаемых теоремой 2.5; урезанное математическое ожидание при этом будет равно Согласно теореме 2.5, ряд сходится. Поэтому величины являются центрирующими константами, и ряд сходится с вероятностью 1. Мы используем в дальнейшем вытекающий отсюда факт, что Положим Тогда ряд сходится с вероятностью 1. Величина получается из урезанием ее вне интервала Так как то это урезание удовлетворяет условиям, накладываемым на в теореме 2.5. В силу теоремы 2.5

Далее, очевидно, что Так как написанные выше ряды сходятся абсолютно и так как сходимость этих рядов является по теореме 2.5 условием, достаточным для сходимости ряда из случайных величин то ряд

сходится с вероятностью 1 при любой перестановке его членов. Постоянные являются, следовательно, абсолютно центрирующими константами. В частности, если величины имеют симметричные распределения, то и последовательность является последовательностью абсолютно центрирующих констант. Отметим, что для любой последовательности ряд сходится с вероятностью 1, каков бы ни был порядок его членов. В самом деле, ряды, сходимость которых нужно проверить, чтобы применить к рассматриваемому ряду теорему 2.5, являются, очевидно, абсолютно сходящимися. Следовательно, для любой подпоследовательности ряд имеет подпоследовательность своей последовательностью абсолютно центрирующих констант. Доказательство утверждения Если - абсолютно центрирующие константы, то Любой ряд имеет величины своими абсолютно центрирующими константами, так как как мы видели в величины являются абсолютно центрирующими константами для этого ряда. Наконец, для того чтобы показать, что сумма зависит от порядка суммирования, достаточно показать это при а после этого можно воспользоваться тем, что не зависит от порядка суммирования сумма абсолютно сходящегося ряда Таким образом, мы должны доказать, что если любая перестановка натурального ряда чисел, то с вероятностью 1

Так как перестановка конечного числа членов ряда не меняет его суммы, то мы можем, если это удобно, переставить члены ряда так, чтобы где произвольно. Докажем сперва, что с вероятностью 1

Чтобы доказать (2.16), достаточно доказать, что эти ряды имеют одинаковый предел в смысле сходимости в среднем. Но это вытекает из следующей оценки (получающейся применением (2.9) к величинам

Тем самым (2.16) доказано, после чего (2.16) получается из следующего соотношения:

Мы воспользовались здесь тем, что, как отмечалось выше, можно считать при

Отметим, что при доказательстве нашей теоремы не было доказано, что ряд является с вероятностью 1 абсолютно сходящимся, и на самом деле это может быть и неверно. Следующая теорема дает критерии распознавания различных возможностей в терминах характеристических функций величин Вводимые здесь критерии формулируются при помощи некоторых бесконечных произведений. Напомним, что если бесконечное произведение сходится, то его значение равно тогда и только тогда, когда обращается в один из сомножителей этого произведения. Например, если последовательность характеристических функций, то бесконечное произведение имеет при каждом некоторое определенное значение, даже если оно расходится при некоторых Значение этого произведения равно во всех точках его расходимости, а также в любой другой точке, где обращается в хотя бы один из сомножителей.

Теорема 2.7. Пусть взаимно независимые случайные величины с характеристическими функциями Если, ряд после центрирования сходится с вероятностью 1, то является непрерывной функцией от равной 1 при и это бесконечное произведение сходится равномерно на каждом конечном интервале значений Обратно, если на множестве значений положительной лебеговой меры или, несколько общее, если это бесконечное произведение сходится на множестве значений положительной лебеговой меры), то ряд центрирования сходится с вероятностью 1.

(II) Если ряд сходится с вероятностью 1 (т. е. если является последовательностью центрирующих констант), то сходится равномерно в каждом конечном интервале значений Обратно, если это бесконечное произведение сходится на множестве значений положительной лебеговой меры, то сходится с вероятностью 1.

(III) Если ряд сходится с вероятностью 1, каков бы ни был порядок суммирования (т. е. если последовательность абсолютно центрирующих констант), то ряд сходится равномерно в каждом конечном интервале значений причем последний ряд мажорируется на каждом конечном интервале значений сходящимся числовым рядом (т. е. выполнен критерий равномерной сходимости Вейерштрасса). Обратно, если ряд сходится на множестве значений положительной лебеговой меры, то ряд 2 сходится с вероятностью 1, каков бы ни был порядок суммирования.

Доказательство утверждения (I). Пусть ряд после центрирования сходится с вероятностью 1, и пусть - центрирующие константы. Тогда ряд сходится с вероятностью 1, так что функция

при равномерно сходится в каждом конечном интервале к характеристпческоп функции случайной величины Поэтому функция при сходится к своему пределу равномерно в каждом конечном интервале, и непрерывно и равно 1 при Так как с вероятностью 1

то и

равномерно в каждом конечном интервале значений С, так что бесконечное произведение сходится равномерно в каждом конечном интервале. Обратно, предположим, что множество значений при которых имеет положительную лебегову меру. Так как то это множество симметрично относительно 0. Тогда существуют ограниченное множество А лебеговой меры и положительное число а такие, что

Положим

где медпана случайной величины Тогда в силу неравенства (11.8) гл. I

и в силу неравенства (11.9) гл. I, если имеет дпсперсию с, то

Из теоремы о трех рядах (теоремы 2.5) теперь следует, что ряд сходится с вероятностью 1, т. е. что ряд после центрирования сходится с вероятностью 1, что и требовалось доказать. Далее, предположим, что бесконечное произведение сходится на множестве А значений положительной лебеговой меры. Тогда

так что существует для которого на множестве положительной меры Лебега. Следовательно, в соответствии с тем, что мы только что доказали, ряд после центрирования сходится с вероятностью 1 и, значит, то же самое верно и для ряда

Доказательство утверждения (II). Если ряд сходится с вероятностью 1, то существует равномерно в каждом конечном интервале (и является характеристической функцией величины Далее, так как с вероятностью 1, то отсюда следует, что равномерно в каждом конечном интервале значений Следовательно, бесконечное произведение сходится равномерно в каждом конечном интервале. Обратно, если это произведение сходится на множестве А положительной лебеговой меры, то это же самое верно и для произведения Поэтому в соответствии с утверждением (I) существует последовательностъ констант такая, что ряд сходится с вероятностью 1. Из только что доказанного следует, что является при всех сходящимся произведением. С другой стороны, сходится, по предположению, при Из совокупности этих двух фактов следует, что сходится. Но тогда сходится с вероятностью 1, что и требовалось доказать.

Доказательство утверждения (III). Пусть ряд сходится с вероятностью 1. Определим так же, как и в (I). Как мы только что видели, усеченные математические ожидания являются всегда абсолютно центрирующими константами. Если мы предположим, что последовательность является последовательностью абсолютно

центрирующих констант, то будем иметь

Обозначим Тогда, в силу неравенства (11.10) гл. I,

где

и а выбрано настолько малым, чтобы при имело место неравенство Так как

то ряд сходится равномерно на каждом конечном интервале, и применим критерий сходимости Вейерштрасса. Обратно, если сходится на множестве значений положительной меры Лебега, то бесконечное произведение также сходится на этом множестве, так что, согласно пункту ряд сходится с вероятностью 1. Так как сходится на этом множестве, каков бы ни был порядок суммирования, то и сходится, каков бы ни был порядок суммирования, что и требовалось доказать.

Теперь легко вывести два следствия, из которых наиболее важным является второз; что же касается первого, то оно будет использовано нами лишь в гл. VIII.

Следствие 1. Пусть - взаимно независимые случайные величины. Предположим, что ряд 2 у, сходится с вероятностью 1, каков бы ни был порядок суммирования. Пусть непересекающиеся множества натуральных чисел а . Положим Тогда являются взаимно независимыми случайными величинами а с вероятностью 1, причем рассматриваемые ряды сходятся с вероятностью 1 независимо от порядка суммирования.

Ряды, определяющие сходятся с вероятностью 1 по теореме и являются, очевидно, взаимно независимыми случайными величинами. Пусть характеристическая функция величины В силу теоремы при всех

Следовательно (доказательство используемого здесь неравенства см. в дополнении), при всех

и так как из произведений слева является характеристической функцией величины то из этого неравенства, применяя снова теорему 2.7

(III), получаем, что ряд 2 сходится с вероятностью 1 независимо от порядка суммирования. Разность между суммой этого ряда и 2 очевидно, не зависит от при каждом следовательно, по закону нуля или единицы тождественно равна постоянной. Эта постоянная должна быть нулем, так как две рассматриваемые суммы имеют одинаковую характеристическую функцию Порядок сомножителей в этом последнем произведении не влияет на его величину, так как

Следствие 2. Пусть взаимно независимые случайные величины. Тогдаесли частные суммы ряда сходятся по распределению или по вероятности, то этот ряд сходится с вероятностью 1.

Так как из сходимости частных сумм по распределению следует, что при сходится равномерно в каждом конечном интервале, и так как сходимость по вероятности влечет за собой сходимость по распределению, то это утверждение является частным случаем пункта (II) только что доказанной теоремы.

Предположения следующей теоремы кажутся на первый взгляд несколько искусственными, однако они оказываются часто выполненными (см. приложение этой теоремы в § 6 гл. VIII).

Теорема 2.8. Пусть взаимно независимые случайные величины. Предположим, что существует случайная величина у, для которой

где случайная величина, не зависящая от случайных величин

Тогда ряд после центрирования сходится с вероятностью 1.

Действительно, если характеристическая функция величины - характеристическая функция величины и - характеристическая функция величины у, то

Следовательно, малых и искомый результат вытекает из теоремы

При изучении сходимости ряда составленного из взаимно независимых случайных величин, иногда бывает удобно пользоваться методом симметризации. Пусть у, -случайные величины, определенные

таким образом, чтобы и у имели одинаковые распределения и чтобы все величины были взаимно независимы. (Если заданное -пространство недостаточно обширно для того, чтобы на нем можно было построить такую последовательность это -пространство можно расширить путем присоединения такой последовательности, как это описано в § 2 гл. II.) Тогда характеристическая функция величины у — у равна В соответствии с теоремой 2.7 ряд после центрирования сходится с вероятностью 1 тогда и только тогда, когда сходится равномерно в каждом конечном интервале значений В то же время ряд сходится с вероятностью 1 тогда и только тогда, когда сходится равномерно в каждом конечном интервале значений Следовательно, ряд после центрирования сходится с вероятностью 1 тогда и только тогда, когда ряд сходится с вероятностью 1. Для ряда совпадают вытекающие из теоремы 2.7 условия сходимости 1 с вероятностью 1 и сходимости с вероятностью 1 после центрирования. Введение величин у позволяет свести изучение сходимости ряда к тому частному случаю, когда характеристические функции слагаемых действительны и неотрицательны.

Тот факт, что сходимость ряда с вероятностью 1 влечет за собой сходимость ряда с вероятностью 1 после центрирования, может быть также получен из теоремы 2.8 при

Теорема 2.9. Пусть - взаимно независимые случайные величины. Предположим, что при некотором

Тогда ряд 2 У) после центрирования сходится с вероятностью

По предположению теоремы существуют и возрастающая последовательность положительных целых чисел такие, что

Пусть симметрирующие величины такие, как мы только что рассматривали. Тогда

Если характеристическая функция случайной величины то

По теореме Хелли существует подпоследовательность такая, что последовательность функций распределения величин сходится при всех X к некоторой ограниченной монотонной функции Следовательно, так как подинтегральное выражение в последнем интеграле предыдущего соотношения обращается в при то

Если ряд не является рядом, сходящимся после центрирования с вероятностью 1, то по теореме интеграл слева обращается в нуль. Но тогда

и это противоречие доказывает теорему.

Теорема 2.9 показывает, что если ряд не сходится после центрирования с вероятностью 1, то распределение суммы уходит в бесконечность. В этом случае, каковы бы ни были центрирующие константы и число

или, в другой записи,

Входящая в это соотношение верхняя грань является функцией от К, измеряющей концентрированность распределения случайной величины 2 У,- Леви провел изучение рядов из взаимно независимых случайных величин, рассматривая такие функции концентрации, а Кавата развил эту теорию, основываясь на рассмотрении средних от такпх функций.