3.4. ПРЕДЕЛЬНЫЕ РАСПРЕДЕЛЕНИЯ СУММ СЛУЧАЙНЫХ ВЕЛИЧИН

3.4.1. Сходимость последовательности случайных величин.

Детерминированная числовая последовательность сходится к величине s, т. е. имеет единственный предел если для любого существует такой номер что при выполняется неравенство . В отличие от указанного определения предела детерминированной последовательности определение предела последовательности случайных величин зависит от критерия сходимости. Это объясняется тем, что последовательность случайных величин представляет множество числовых последовательностей, подчиняющихся вероятностному распределению.

Последовательность случайных величин сходится по распределению к случайной величине если последовательность функций распределения сходится к функции распределения во всех точках непрерывности последней. Кратко сходимость по указанному критерию записывают в виде: .

Сходимость по распределению называют также слабой сходимостью. Если функции дифференцируемы, то при слабой сходимости плотности сходятся к и, соответственно, характеристические функции

Последовательность случайных величин сходится по вероятности к случайной величине если для любого

или кратко

Последовательность случайных величин сходится в среднеквадратическом к (случайной величине если

при кратко

Из сходимости в среднеквадратическом следует сходимость по вероятности, а из сходимости по вероятности — сходимость по распределению.

Приведенные критерии сходимости относятся к последовательностям не только скалярных случайных величин, но и векторных. Так, для определения слабой сходимости последовательностей векторных случайных величин достаточно одномерные функции распределения заменить многомерными, а для определения сходимости по вероятности и в среднеквадратическом потребовать, чтобы соотношения (3.93) и (3.94) выполнялись для каждой компоненты вектора

3.4.2. Сходимость последовательности сумм случайных величин.

При теоретических исследованиях и практических приложениях теории часто необходимо решать задачу определения функции распределения сумм конечного числа случайных величин (линейной комбинации случайных величин). В общем случае решение этой задачи даже при использовании метода характеристических функций сопряжено с известными трудностями (см. п. 3.1.14 и 3.3.6). Исключение составляет сумма конечного числа (даже зависимых) гауссовских случайных величин, которая представляет гауссовскую случайную величину, т. е. подчиняется нормальному закону распределения вероятностей (см. п. 3.3.8). Можно указать и еще несколько примеров, когда закон распределения суммы произвольного конечного числа одинаково распределенных независимых случайных величин совпадает с законами распределения слагаемых (см. задачи 3.14 и 3.15). Однако, как правило, закон распределения суммы случайных величин не повторяет закона распределения слагаемых. Задача становится еще сложнее, если функции распределения слагаемых суммы различны.

В тех случаях, когда решение задачи при конечных параметрах громоздко или практически непригодно, применяется асимптотическое решение, которое затем используется в допредельном случае, если сходимость достаточно быстрая. В рассматриваемой задаче асимтотический подход имеет место, когда число слагаемых в сумме неограниченно увеличивается. Для этого необходимо исследовать сходимость последовательности сумм случайных величин , когда .

Прежде всего следует отметить, что содержательное исследование сходимости сумм случайных величин возможно лишь после соответствующего центрирования и нормирования сумм. Пусть, например, все слагаемые , независимы и распределены по одному и тому же закону, причем Тогда Следовательно, при среднее и дисперсия искомого предельного распределения неограничены. Однако, если вместо случайных величин суммировать центрированные случайные величины , то среднее суммы всегда будет равно нулю. Нормирование центрированной суммы возможно двумя способами:

При первом способе и, следовательно, при , т. е. последовательность сумм (3.95) сходится (по меньшей мере по вероятности) к константе (к нулю). При втором способе Для любого и, следовательно, последовательность (3.96) сходится при (по меньшей мере по распределению) к случайной величине с параметрами

Если распределения слагаемых сумм независимых случайных величин различны, то центрирование и нормирование приводят к следующим выражениям:

При определенных условиях последовательности нормированных сумм центрированных независимых случайных величин сходятся к предельной величине, вероятностные характеристики которой не зависят от индивидуальных характеристик слагаемых.

Формулировка условий возникновения подобных устойчивых закономерностей и их вероятностных характеристик составляют содержание предельных теорем теории вероятностей — закона больших чисел и центральной предельной теоремы.

3.4.3. Закон больших чисел.

Пусть — последовательность независимых, одинаково распределенных случайных величин с конечными дисперсиями . Тогда последовательность сумм (3.95) сходится по вероятности к нулю, что равносильно утверждению

т. е. среднее арифметическое независимых, одинаково распределенных случайных величин сходится при к среднему значению слагаемого суммы. Сходимость по вероятности среднего арифметического к среднему а следует непосредственно из неравенства Чебышева. Так как [см. (3.95)] , то из (2.29) находим

(3.100)

Обозначим через характеристическую функцию случайной величины а через — характеристическую функцию суммы (3.95). Тогда в соответствии с (3.88)

(3.101)

При из (3.101) следует , т. e. предельное распределение последовательности сумм (3.95) вырожденное — плотность такого распределения представляет дельта-функцию в начале координат.

Формула (3.99) является аналитическим выражением закона больших чисел.

Из (3.101) следует, что с точностью до членов порядка распределение среднего арифметического независимых одинаково распределенных случайных величин (при конечной дисперсии) нормальное с плотностью

(3.102)

Если случайные величины в (3.97) не распределены одинаково, то для сходимости распределения суммы (3.97) к вырожденному (плотность представляет дельта-функцию в нуле) достаточно выполнить условие

(3.103)

При получаем более простой вариант (3.103):

(3.103 а)

где

(3.103 б)

3.4.4. Центральная предельная теорема теории вероятностей.

Пусть — последовательность независимых, одинаково распределенных случайных величин, имеющих конечные средние и дисперсии . Тогда последовательность сумм (3.96) сходится по распределению к стандартной гауссовской случайной величине, что равносильно утверждению

(3.104)

т. е. последовательность функций распределения центрированных и нормированных сумм (3.96) случайных величин при сходится к нормальной функции распределения с параметрами (0; 1).

Формула (3.104) является аналитическим выражением центральной предельной теоремы теории вероятностей. Доказательство этой теоремы основано на исследовании последовательности характеристических функций сумм (3.96) при Обозначая характеристическую функцию центрированной случайной величины получаем согласно (3.71)

В соответствии с (3.88) логарифм характеристической функции суммы (3.96)

(3.105)

Из (3.105) следует

(3.106)

т. е. последовательность характеристических функций сумм (3.96) при сходится к характеристической функции гауссовской случайной величины с нулевым средним и единичной дисперсией.

Если случайные величины в (3.98) не распределены одинаково, то для слабой сходимости сумм (3.98) к стандартной гауссовской случайной величине достаточно выполнить условие: при

(3.107)

При (3.107) упрощается:

ИЛИ

где

Необходимое и достаточное условие, при выполнении которого распределение нормированной суммы (3.98) независимых случайных величин при сходится к нормальному, следующее: при каждом

(3.108)

где — функция распределения

Из (3.108) следует очень простое достаточное условие асимптотической нормальности (см. [8])

(3-109)

Условие (3.109) означает, что дисперсии отдельных слагаемых суммы (3.98) малы по сравнению с суммой дисперсий всех слагаемых.

Рассмотрим, например, нормированную линейную комбинацию независимых, одинаково распределенных, центрированных случайных величин

(3.110)

где — произвольные константы и

Тогда из (3.109) следует, что для сходимости при функции распределения суммы (3.110) к нормальной функции распределения достаточно, чтобы

(3.111)

В гл. 5 (см. п. 5.2.7) будут сформулированы условия, при которых центральная предельная теорема имеет место и для сумм зависимых случайных величин.

3.4.5. Оценка сходимости к нормальному закону.

На практике приходится исследовать распределение конечного числа случайных величин и поэтому необходимо оценить асимптотическое равенство (3.104) в зависимости от числа и параметров функции распределения слагаемых.

Поправка к нормальному закону получается из рассмотрения выражения (3.105). Функция представляет степенной ряд по v, коэффициенты которого зависят от и от центральных моментов распределения слагаемых. В зависимости от требуемой точности оценки приближения к нормальному закону можно ограничиться тем или иным числом членов этого ряда. Если оставить, например, члены порядка не выше то, предполагая, что третий и четвертый центральные моменты случайных величин конечны, из (3.105) находим

Вводя коэффициенты асимметрии k и эксцесса у слагаемых, получаем с точностью до порядка

(3.112)

Обратным преобразованием Фурье из (3.112) находим приближенное выражение плотности распределения суммы (3.96) с точностью до малых порядка

где — полиномы Эрмита [ом. (2.83)].

Заметим, что правая часть (3.113) представляет первые четыре члена разложения плотности вероятности суммы (3.96) в ряд Эджворта, который получается также из ряда Грама — Шарлье (см. п. 2.5.2) перегруппировкой членов по порядку их малости.

Из (3.113) следует, что распределения нормированных сумм независимых случайных величин с симметричными плотностями распределения сходятся к нормальному распределению быстрее, чем нормированные суммы случайных величин, для которых плотности распределения асимметричны .

Отметим также, что приближенное выражение плотности вероятности ненормированной суммы (независимых, одинаково распределенных случайных величин [см. (3.96)] следует из (3.113) с учетом (3.6)

3.4.6. Обобщения.

Центральная предельная теорема распространяется также на многомерные случаи. Пусть — последовательность независимых -мерных векторных случайных величин с одинаковыми -мерными функциями распределения. Обозначим через а вектор средних, а через К — ковариационную матрицу каждой из векторных случайных величин указанной последовательности. Тогда последовательность -мерных функций распределения сумм

при сходится к -мерной нормальной функции распределения с нулевым вектором средних и ковариационной матрицей К.

Доказательство приведенной обобщенной предельной теоремы аналогично приведенному в п. 3.4.4 для скалярного случая. Если — характеристическая функция центрированной векторной случайной величины то с учетом (3.84 а) и замечания в конце п. 3.3.6 имеем

откуда следует приведенное выше утверждение.

Можно также получить приближенное выражение многомерной плотности суммы конечного числа независимых векторных случайных величин. Рассмотрим, например, совместное распределение компонент двумерного результирующего вектора , где

— последовательность независимых, одинаково распределенных двумерных случайных векторов, каждый из которых характеризуется вектором средних и ковариационной матрицей

В [5] были получены в первом приближении следующие выражения плотности совместного распределения компонент (3.116) результирующего вектора:

где — коэффициент корреляции случайных величин и — коэффициенты асимметрии величин соответственно,

— совместная плотность вероятности компонент вектора .

Если каждая пара компонент суммируемых векторов не коррелирован а имеет нулевые средние и одинаковые дисперсии то распределение модуля результирующего вектора, как это следует из асимптотически рэлеевское, а распределение фазы результирующего вектора — равномерное на интервале .