Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше
Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике
В этой главе будут встречаться только дискретные случайные величины и поэтому мы будем использовать более короткий термин — случайная величина.
Пример 1.2.1. Сопоставляя каждому сообщению
число
получим случайную величину — номер сообщения. Сопоставляя каждому сообщению
величину —
получим другую случайную величину, которая далее определяется как информация в сообщении.
Пример 1.2.2. Пусть
распределение вероятностей на
Положим
Так определенная функция
задает случайную величину, принимающую значения
и 3, причем вероятности этих значений суть
Пусть
дискретный ансамбль такой, что X — числовое множество. Функция
очевидно, задает случайную величину, для которой X является множеством значений
распределением вероятностей. В этом случае случайную величину мы будем обозначать так же» как и ансамбль, а именно
Вводя в рассмотрение некоторую случайную величину X, мы будем предполагать, что для этой величины определено или может быть определено распределение вероятностей
для всех значений х этой случайной величины (с. в.).
Число
называется математическим ожиданием с. в.
Число
называется
центральным моментом с. в.
При этом
называется дисперсией. В дальнейшем дисперсия с. в. X будет обозначаться через а. Если
есть с. в., определяемая с помощью функции
и ансамбля
то
где запись
под знаком суммы означает, что суммирование производится по всем таким
что
Основное свойство математического ожидания состоит в том, что математическое ожидание суммы некоторого числа с. в. равно сумме их математических ожиданий:
где
неслучайные числа. Для обоснования этого соотношения рассмотрим ансамбль
и положим
Тогда, применяя формулу (1.2.3), получим
где предпоследнее равенство получается с помощью соотношений
Предположим, что совместно заданы две с. в.
причем
распределение вероятностей на множестве XV всех пар
где а: — значение с. в. X и у значение с. в. Y. Случайные величины
называются статистически независимыми (иногда — просто независимыми), если
для всех значений
Число
где
называется корреляционным моментом случайных величин
Если с. в.
независимы, то
Действительно, учитывая независимость, получим
Заметим, что из равенства
в общем случае не следует, что с. в.
независимы.
Следующее простое неравенство лежит в основе закона больших чисел — основного теоретико-вероятностного инструмента теории информации.
Пусть с. в. X имеет нулевое математическое ожидание и дисперсию
Тогда для произвольного положительного
где
есть вероятность того, что с. в. X будет по модулю не меньше, чем
Первое равенство есть определение дисперсии (см. (1.2.2)). Первое неравенство получается в результате сужения области суммирования до множества таких значений
модуль которых не меньше
Второе неравенство вытекает из того, что
для всех х из указанной области суммирования. Наконец, последнее равенство следует из определения вероятности события
Из (1.2.7) следует, что
Это неравенство называется неравенством Чебышева.
Пусть
— независимые случайные величины, имеющие одинаковые распределения вероятностей
Эти с. в. соответствуют
независимым экспериментам (например,
независимым бросаниям игральной кости), причем с. в.
соответствует эксперименту, проводимому в
момент времени. Пусть
среднее арифметическое указанных с. в., т. е.
Легко определить математическое ожидание и дисперсию с. в.
где через
обозначено математическое ожидание с. в.
(в силу одинаковой распределенности оно одинаково для всех случайных величин), и
Так как с. в.
независимы, то
при
где а — дисперсия каждой из с. в. X. Учитывая это, имеем
Применим неравенство Чебышева к с. в. К. В результате получим, что
или
Полученный результат мы сформулируем в виде теоремы. Теорема 1.2.1. (Закон больших чисел в форме Чебышева.) Пусть
независимые одинаково распределенные дискретные случайные величины, имеющие конечные математическое ожидание и дисперсию. Тогда для любых положительных ей 6 найдется такое
зависящее от в и 6, что для всех
вероятность того, что среднее арифметическое с. в.
будет отличаться от математического ожидания
каждой из случайных величин на величину, не меньшую чем
не превосходит 6:
Пример 1.2.3. Пусть
независимые одинаково распределенные случайные величины, принимающие значения 0 и 1 с вероятностями
соответственно. Легко видеть, что каждая из указанных с. в. имеет математическое ожидание, равное
и дисперсию
С. в.
представляет собой относительное число (или долю) единиц в последовательности
Применяя к с. в. К закон больших чисел, получим, что при достаточно больших
для любого