3.8. Краткое содержание и выводы
В этой главе мы рассмотрели, каким образом можно представить сообщения из некоторого ансамбля последовательностями символов, выбираемых из заданного алфавита. Мы видели, в частности, что энтропия ансамбля сообщений является нижней границей для среднего (по ансамблю сообщений) числа двоичных символов, достаточного для представления сообщений этого ансамбля. Эта нижняя граница может быть фактически достигнута в некоторых специальных случаях, а именно когда собственная информация каждого сообщения (выраженная в двоичных единицах) является целым числом. В других случаях возможно все-таки сделать число двоичных символов в каждом кодовом слове равным ближайшему целому числу, большему, чем собственная информация соответствующего сообщения. При этом среднее число двоичных символов на сообщение будет превосходить энтропию ансамбля сообщений меньше чем на один двоичный символ. Таким образом, собственная информация сообщения может рассматриваться как число двоичных символов, требуемых для идентификации сообщения, когда мы хотим минимизировать ожидаемое (среднее) значение числа двоичных символов. Этот результат придает важный практический смысл мере собственной информации, определенной в предыдущей главе.
Мы ограничили наше обсуждение главным образом вопросами кодирования дискретных ансамблей сообщений вне связи со статистическими характеристиками источника, порождающего сообщения. Вопроса о статистических связях между
последовательными сообщениями мы коснулись только в разд. 3.6. Так, мы приняли простейший тип статистических связей между последовательными сообщениями, а именно статистическую независимость. В этом простом случае мы оказались в состоянии доказать, что кодированием достаточно длинных последовательностей сообщений можно получить среднее число двоичных символов на сообщение, как угодно близкое к энтропии ансамбля сообщений (измеренной в двоичных единицах). Однако этот последний результат имеет лишь ограниченное практическое значение и не только из-за предположения о статистической независимости последовательных сообщений, но также и потому, что еще не были рассмотрены ограничения на скорость, с которой кодер может передавать порождаемые им двоичные символы в зависимости от скорости, с которой источник порождает сообщения. Ограничения на кодирование, накладываемые скоростью создания сообщений и скоростью передачи символов, будут рассмотрены в следующей главе в связи с изучением случайных источников информации.
3.9. Избранная литература
(см. скан)
