4.1. Дискретные случайные источники

Обозначим через последовательность событий, порождаемых источником. Каждое частное событие а, может быть любой из букв множества Хотя множество возможных букв для всех последовательных событий остается одним и тем же, часто будет удобнее различать множества букв, соответствующих разным событиям. Так что мы будем обозначать через множество букв, соответствующих событию хотя элементы множества будут одни и те же для всех целых

Ансамбль порождаемых источником последовательностей описывается следующей совокупностью распределений вероятностей.

Распределение вероятностей первого события, определяемое вероятностями

Условное распределение вероятностей второго события при заданном первом, определяемое вероятностями

Условное распределение вероятностей события при заданных предшествующих событиях.

Все другие распределения вероятностей можно выразить через приведенные выше. Например, совместное распределение вероятностей первых событий есть, по определению,

Совместным распределением вероятностей события и события, непосредственно предшествующего ему, будет

где суммирование ведется по произведению ансамблей, образованных первыми событиями. Условное распределение вероятностей для события при заданном предшествующем ему событии, по определению, равно

Такое описание ансамбля последовательностей естественно приводит к отысканию среднего количества информации, требуемого для определения последовательных событий из этой последовательности. Среднее количество информации, требуемое для определения первого события, задается энтропией

Среднее количество информации, требуемое для определения второго события, после того как первое уже было определено, задается условной энтропией

Вообще среднее количество информации, требуемое для определения события, после того как все предыдущие события

уже определены, задается выражением

Ради простоты обозначим условную энтропию события при заданных предыдущих событиях через

где символ означает произведение ансамблей, образованное предыдущими событиями.

В силу соотношений (2.90), (2.100) и (2.105) приведенные выше энтропии удовлетворяют неравенствам

для всех целых