§ 1.2. Случайные величины. Закон больших чисел

Предположим, что дискретный ансамбль и функция, определенная на и принимающая значения на числовой оси. Элементы множества X могут иметь произвольную природу, однако числа. Всякая действительная функция заданная на произвольном дискретном ансамбле, порождает действительную дискретную случайную величину (или коротко — дискретную случайную величину).

В этой главе будут встречаться только дискретные случайные величины и поэтому мы будем использовать более короткий термин — случайная величина.

Пример 1.2.1. Сопоставляя каждому сообщению число получим случайную величину — номер сообщения. Сопоставляя каждому сообщению величину — получим другую случайную величину, которая далее определяется как информация в сообщении.

Пример 1.2.2. Пусть распределение вероятностей на Положим Так определенная функция задает случайную величину, принимающую значения и 3, причем вероятности этих значений суть

Пусть дискретный ансамбль такой, что X — числовое множество. Функция очевидно, задает случайную величину, для которой X является множеством значений распределением вероятностей. В этом случае случайную величину мы будем обозначать так же» как и ансамбль, а именно Вводя в рассмотрение некоторую случайную величину X, мы будем предполагать, что для этой величины определено или может быть определено распределение вероятностей для всех значений х этой случайной величины (с. в.).

Число

называется математическим ожиданием с. в. Число

называется центральным моментом с. в. При этом называется дисперсией. В дальнейшем дисперсия с. в. X будет обозначаться через а. Если есть с. в., определяемая с помощью функции и ансамбля то

где запись под знаком суммы означает, что суммирование производится по всем таким что

Основное свойство математического ожидания состоит в том, что математическое ожидание суммы некоторого числа с. в. равно сумме их математических ожиданий:

где неслучайные числа. Для обоснования этого соотношения рассмотрим ансамбль и положим Тогда, применяя формулу (1.2.3), получим

где предпоследнее равенство получается с помощью соотношений

Предположим, что совместно заданы две с. в. причем распределение вероятностей на множестве XV всех пар где а: — значение с. в. X и у значение с. в. Y. Случайные величины называются статистически независимыми (иногда — просто независимыми), если для всех значений

Число

где

называется корреляционным моментом случайных величин Если с. в. независимы, то Действительно, учитывая независимость, получим

Заметим, что из равенства в общем случае не следует, что с. в. независимы.

Следующее простое неравенство лежит в основе закона больших чисел — основного теоретико-вероятностного инструмента теории информации.

Пусть с. в. X имеет нулевое математическое ожидание и дисперсию Тогда для произвольного положительного

где есть вероятность того, что с. в. X будет по модулю не меньше, чем

Первое равенство есть определение дисперсии (см. (1.2.2)). Первое неравенство получается в результате сужения области суммирования до множества таких значений модуль которых не меньше Второе неравенство вытекает из того, что для всех х из указанной области суммирования. Наконец, последнее равенство следует из определения вероятности события

Из (1.2.7) следует, что

Это неравенство называется неравенством Чебышева.

Пусть — независимые случайные величины, имеющие одинаковые распределения вероятностей Эти с. в. соответствуют независимым экспериментам (например, независимым бросаниям игральной кости), причем с. в. соответствует эксперименту, проводимому в момент времени. Пусть среднее арифметическое указанных с. в., т. е.

Легко определить математическое ожидание и дисперсию с. в.

где через обозначено математическое ожидание с. в. (в силу одинаковой распределенности оно одинаково для всех случайных величин), и

Так как с. в. независимы, то при где а — дисперсия каждой из с. в. X. Учитывая это, имеем

Применим неравенство Чебышева к с. в. К. В результате получим, что

или

Полученный результат мы сформулируем в виде теоремы. Теорема 1.2.1. (Закон больших чисел в форме Чебышева.) Пусть независимые одинаково распределенные дискретные случайные величины, имеющие конечные математическое ожидание и дисперсию. Тогда для любых положительных ей 6 найдется такое зависящее от в и 6, что для всех вероятность того, что среднее арифметическое с. в. будет отличаться от математического ожидания каждой из случайных величин на величину, не меньшую чем не превосходит 6:

Пример 1.2.3. Пусть независимые одинаково распределенные случайные величины, принимающие значения 0 и 1 с вероятностями соответственно. Легко видеть, что каждая из указанных с. в. имеет математическое ожидание, равное и дисперсию

С. в.

представляет собой относительное число (или долю) единиц в последовательности Применяя к с. в. К закон больших чисел, получим, что при достаточно больших для любого

Другим» словами, доля единил в достаточно длинной последовательности близка к вероятности по явления единицы. Точный смысл этого утверждения проявляется с помощью неравенства (1.2.14). Конечно, не исключено, что в каком-либо эксперименте, в котором наблюдаются случайных величин, определенных выше, доля единиц будет сильно отличаться от Однако вероятность этого события мала при достаточно больших