ГЛАВА I. ИСТОЧНИК СООБЩЕНИИ И ПРОЦЕДУРА КОДИРОВАНИЯ

1. Источник сообщений

Работу источника дискретной информации удобно представить как процесс последовательного случайного выбора сообщений из фиксированного их множества, содержащего М элементов . Если вероятность выбора в данный момент элемента не зависит от того, какие сообщения были выбраны ранее, то источник называют дискретным источником без памяти, а сообщения — статистически независимыми.

Множество сообщений с определенным на нем априорным распределением вероятностей образует ансамбль сообщений и называется полным, если

(1.1.1)

В дальнейшем будем полагать, что источник является дискретным источником без памяти, а множество сообщений — полным.

Пронумеруем сообщения данного множества в произвольном порядке и запишем их номера в -ичной системе счисления (в двоичной, троичной и т.д.). Тогда каждому сообщению окажется поставлено во взаимно однозначное соответствие некоторое -разрядное число

(1.1.2)

где совпадает с одной из «цифр» выбранной системы счисления

(1.1.3)

Заметим, что число разрядов , минимально необходимое для записи всех М номеров сообщений, в выбранной системе счисления равно ближайшему целому числу, большему, чем

(1.1.4)

В теории кодирования величины и называют символами, а -разрядные числа вида(1.1.3) - -значными комбинациями, при этом вместо термина «разряд» обычно используют термин «позиция». Совокупность всех комбинаций (1.1.2) образует ш-значный исходный код с основанием .

Таким образом, работу дискретного источника без памяти можно трактовать как процесс независимого выбора с вероятностью кодовой комбинации исходного кода.

Уместно заметить, что этот процесс не сводится к широко используемой в теории информации схеме, согласно которой производится независимый выбор символов

(1.1.3) с априорной вероятностью (а вероятность появления -значной комбинации содержащей символов ), определяется формулой

(1.1.5)

Конечно, и для интересующего нас типа источника сообщений можно вычислить некоторую «среднюю априорную частость» появления на его выходе символа

Однако равенство (1.1.5) имеет место только в некоторых специально подобранных ситуациях, т. е. в общем случае априорная вероятность появления комбинации на выходе источника не выражается как произведение «средних априорных частостен» появления ее символов.

Это обстоятельство является характерным для всех систем, где процесс формирования сообщений сводится к случайному выбору детерминированных т-знач-ных комбинаций.