2.1.6. Суммы случайных величин и центральная предельная теорема
Выше мы рассмотрели вопрос о
нахождении ФПВ для суммы статистически независимых случайных величин. В этом
разделе мы снова рассмотрим сумму статистически независимых величин, но наш
подход будет иным и не зависит от частных ФПВ случайных величин в сумме. В
частности, предположим, что слагаемые суммы – статистически независимые и
одинаково распределенные случайные величины, каждая из которых имеет
ограниченные средние значения и ограниченную дисперсию.
Пусть 
определяется как нормированная сумма,
называемая выборочным средним
. (2.1.187)
Сначала определим верхние границы
вероятности хвостов , а затем докажем очень важную теорему,
определяющую ФПВ в
пределе, когда 
стремится
к бесконечности.
Случайная величина , определенная
(2.1.187), часто встречается при оценивании среднего случайной величины 
по ряду наблюдений 
, 
. Другими словами, могут
рассматриваться как независимые выборочные реализации из распределения 
, а является оценкой
среднего 
.
Математическое ожидание равно
.
Дисперсия равна
Если рассматривать как оценку
среднего 
, видим, что его математическое ожиданий равно , а его дисперсия
уменьшается с ростом объема выборки . Если неограниченно возрастает, дисперсия
стремится к нулю. Оценка параметра (в данном случае ), которая удовлетворяет
условиям, что её математическое ожидание стремится к истинному значению
параметра, а дисперсия строго к нулю, называется состоятельной оценкой.
Хвостовую вероятность случайной величины можно
оценить сверху, используй границы, данные в разд. 2.1.5. Неравенство Чебышева
применительно к имеет
вид
,
. (2.1.188)
В пределе, когда 
, из (2.1.188) следует
. (2.1.189)
Следовательно, вероятность того, что оценка среднего
отличается от истинного значения больше, чем на 
, стремится к нулю, если неограниченно
растет. Это положение является формой закона больших чисел. Так как верхняя
граница сходится к нулю относительно медленно, т.е. обратно пропорционально . выражение
(2.1.188) называют слабым законом
больших чисел.
Если к случайной величине применить границу
Чернова, содержащую экспоненциальную зависимость от , тогда получим плотную
верхнюю границу для вероятности одного хвоста. Следуя процедуре, изложенной в
разд. 2.1.5, найдем, что вероятность хвоста для определяется выражением
(2.1.190)
где 
и 
. Но , статистически независимы и одинаковы
распределены. Следовательно,
(2.1.191)
где - одна из величин . Параметр 
, который дает
наиболее точную верхнюю границ получается дифференцированием (2.1.191) и приравниванием
производной нулю. Это ведет к уравнению
(2.1.192)
Обозначим
решение (2.1.192) через 
. Тогда граница для вероятности
верхнего хвоста
,
. (2.1.193)
Аналогично
мы найдем, что вероятность нижнего хвоста имеет границу
,
. (2.1.194)
Пример 2.1.7. Пусть , -
ряд статистически независимых случайных величин, определенных так:
Мы хотим определить плотную верхнюю границу
вероятности того, что сумма от больше, чем нуль. Так как 
, то
сумма будет иметь отрицательное значение для математического ожидания
(среднего), следовательно, будем искать вероятность верхнего хвоста. При
в
(2.1.193) имеем
, (2.1.195)
где - решение уравнения
. (2.1.196)
Теперь
.
Следовательно,
. (2.1.197)
Далее
Следовательно, для границы в (2.1.195) получаем
.
(2.1.198)
Мы видим, что верхняя граница уменьшается
экспоненциально с ,
как ожидалось. В противоположность этому согласно границе Чебышева вероятность
хвоста уменьшается обратно пропорционально .
Центральная предельная теорема. В этом разделе рассмотрим чрезвычайно полезную
теорему, касающуюся ИФР суммы случайных величин в пределе, когда число
слагаемых суммы неограниченно возрастает. Имеется несколько версий этой
теоремы. Докажем теорему для случая, когда случайные суммируемые величины , , статистически независимы и одинаково распределены, каждая из
них имеет ограниченное среднее и ограниченную дисперсию 
.
Для удобства определим нормированную случайную
величину
, .
Таким
образом, 
имеет
нулевое среднее и единичную дисперсию.
Теперь
пусть
. (2.1.199)
Так как каждое слагаемое суммы имеет нулевое среднее и
единичную дисперсию нормированная (множителем 
) величина имеет нулевое среднее и
единичную дисперсию. Мы хотим определить ИФР для в пределе, когда .
Характеристическая функция равна
, (2.1.200)
где 
означает одну из , которые одинаково
распределены. Теперь разложим характеристическую функцию для в ряд Тейлора.
(2.1.201)
Так
как 
и 
, (2.1.201)
упрощается:
, (2.1.202)
где 
означает остаток. Заметим, что приближается к
нулю, когда .
Подставив(2.1.202)в (2.1.200), получим
характеристическую функцию в виде
. (2.1.203)
Взяв
натуральный логарифм от (2.1.203), получим
. (2.1.204)
Для малых значений 
функцию 
можно представить степенным рядом 
.
Подставив это представление в (2.1.204), получим
. (2.1.205)
Окончательно,
когда определим предел при , (2.1.205) приводит к
,
или,
что эквивалентно,
. (2.1.206)
Но это как раз характеристическая функция гауссовской
случайной величины нулевым средним и единичной дисперсией. Таким образом, мы
имеем важный результат; ФПВ суммы статистически независимых и одинаково
распределенных случайных величин с ограниченным средним и дисперсией
приближается к гауссовской при . Это результат известен как центральная предельная теорема.
Хотя мы предположили, что случайные величины в сумме
распределены одинаково это предположение можно ослабить при условии, что
определённые дополнительные ограничения все же накладываются на свойства
случайных суммируемых величин. Имеется одна разновидность теоремы, например,
когда отказываются от предположения об одинаковом распределении случайных
величин в пользу условия, накладываемого на третий абсолютный момент случайных
величин суммы. Для обсуждения этой и других версий центральной предельной
теоремы читатель отсылается к книге Крамера (1946).
