Глава 3. АНСАМБЛИ ПРОСТЫХ СООБЩЕНИЙ
Проблема воспроизведения сообщений на выходе источника при заданном критерии точности была сформулирована в разд. 1.2 с помощью понятия классов эквивалентности. Кратко говоря, возможные сообщения на выходе источника на соответствующем временном интервале группируются в классы так, что любой элемент класса можно без нарушения, задаваемого адресатом критерия точности, заменить заранее выбранным элементом — представителем этого класса. Говоря в терминах схемы 1.1, кодер источника определяет класс, к которому принадлежит сообщение на выходе источника и передает надлежащие указания декодеру источника, который в свою очередь порождает представителя класса, указанного кодером источника. Повторение этого процесса на каждом последовательном временном интервале приводит к воспроизведению выходного сообщения источника в согласии с установленным критерием точности.
Такая формулировка имеет то преимущество, что отделяет проблему передачи указания о классе, к которому принадлежит сообщение, от более сложной проблемы группирования возможных сообщений в классы эквивалентности. В этой главе мы будем касаться лишь более элементарных аспектов проблемы передачи. Точнее, мы будем заниматься задачей представления сообщений из заданного дискретного множества последовательностью символов, принадлежащих заданному алфавиту. Каждое сообщение может обозначать либо некоторый класс выходных сообщений источника, либо некоторое выходное сообщение, если возможные выходные сообщения источника образуют дискретное множество. Наша цель состоит в конструировании последовательностей символов, минимизирующих среднее число символов, приходящихся на одно сообщение по ансамблю сообщений.
В этой главе мы будем предполагать, что вероятности сообщений известны и что последовательные сообщения статистически независимы. Сообщения и последовательности сообщений, возникающие при более сложных случайных процессах, будут рассмотрены в следующей главе.
