Глава 8. ПОЛИНОМИАЛЬНЫЕ РАСПРЕДЕЛЕНИЯ

Для обобщения результатов предыдущей главы на произвольные дискретные постоянные канала необходимо вычислить границы для полиномиальных распределений вероятностей, аналогичные границам, найденным в разд. 7.1 для биномиальных распределений. Такие границы будут получены с помощью математического метода, известного как «метод перекоса распределений вероятностей». Этот метод впервые был введен Ф. Эсшером в 1932 г. и с тех пор разрабатывался различными авторами, в том числе В. Феллером [1] и Г. Черновым [2]. Материал этой главы восходит главным образом к неофициальным семинарским записям К. Е. Шеннона [3]. Мы ограничиваемся полиномиальными распределениями вероятностей, хотя тот же самый математический метод пригоден для гораздо более широкого класса распределений вероятностей.

8.1. Производящие функции моментов

В рассматриваемом здесь математическом методе ключевую роль играют производящие функции моментов. Пусть А — дискретный ансамбль, состоящий из точек распределение вероятностей на этом ансамбле. Пусть на этом ансамбле определена также случайная величина являющаяся функцией точки ансамбля. Производящая функция моментов этой случайной величины есть, по определению,

где действительный параметр.

Название «производящая функция моментов» обусловлено свойствами последовательных производных по Для первой и второй производных имеем соответственно:

Подобные же выражения получаются для производных более высоких порядков; они содержат соответственно более высокие степени случайной величины.

Полагая в выражении получаем

где среднее значение, или первый момент случайной величины. Аналогично, полагая в выражении (8.3), получаем

где среднеквадратичное значение, или второй момент случайной величины. Очевидно, что значения производных более высоких порядков, вычисленные при дают моменты случайной величины более высоких порядков.

Логарифм производящей функции моментов, а именно

оказывается для наших целей более полезным, чем сама функция. Последовательные производные по известные как семиинварианты распределения вероятностей, обладают свойствами, аналогичными свойствам При истолковании этих производных целесообразно ввести семейство вспомогательных распределений вероятностей

каждый член этого семейства соответствует некоторому значению параметра

Из выражения (8.7) ясно, что

и что вероятности точек, соответствующих относительно большим значениям преувеличиваются при и преуменьшаются при

С помощью выражения (8.2) получаем для первой производной

где обозначает среднее значение случайной величины относительно вспомогательного распределения вероятностей

определяемого соотношением (8.7). Аналогично с помощью выражения (8.3) получаем для второй производной

где обозначает среднеквадратичное значение случайной величины относительно распределения Следовательно, является дисперсией случайной величины относительно и поэтому не отрицательно. С учетом выражения (8.8) отсюда следует, что

Это означает, что среднее значение случайной величины относительно монотонно возрастает с и оно больше для и меньше для В силу этого и называют перекошенным распределением вероятностей. Величина перекоса возрастает с ростом величины а его направление зависит от знака

Весьма важное свойство производящих функций моментов состоит в том, что производящая функция моментов суммы двух статистически независимых случайных величин равна произведению производящих функций моментов этих случайных величин. Точнее, пусть В — другой дискретный ансамбль, состоящий из точек с распределением вероятностей Обозначим через случайную величину, определенную на ансамбле точек А, и через -случайную величину, определенную на ансамбле В. Поскольку эти две случайные величины, по предположению, статистически независимы, производящая функция моментов для распределения вероятностей их суммы равна

где производящие функции моментов каждой из случайных величин.