Глава 6. Энтропия и первая теорема Шеннона
6.1. Введение
До сих пор рассматривалась теория кодирования; теперь приступим к рассмотрению теории информации. Теория кодирования отвечает на следующие вопросы: 1) как построить коды для белого шума (основной вопрос)? 2) как сжать сообщение, когда известна его вероятностная структура?
Займемся общим методом описания структуры источника. Для этого понадобится понятие энтропии. Хотя энтропия давно использовалась во многих физических задачах, и ее понятие в теории информации сильно напоминает классическое определение, тем не менее в теории информации энтропия изучается сама по себе без обращения к многочисленным аналогиям. Для нас энтропия будет просто функцией распределения вероятностей 
Некоторые аналогии приведены в [7, 8].
Теория информации объединяет защиту от шума и эффективное использование канала. Однако простая модель шума в канале (белый шум) иногда оказывается нереальной и в таких случаях приходится рассматривать более общие конфигурации ошибок. Это приводит к важному понятию пропускной способности канала, которое вводится в гл. 8.
Результат, который является целью изучения, — это основная теорема Шеннона из гл. 10, связывающая пропускную способность канала С (более точно будет определена далее) и максимально возможную скорость передачи сигналов. Доказывается замечательная теорема, утверждающая, что можно сколь угодно близко подойти к максимальной скорости передачи сигналов, достигая при этом сколь угодно низкого уровня ошибок. К сожалению, доказательство не является конструктивным, так что теория информации дает границы того, что можно достичь, и не говорит, как. этого достичь. Тем не менее, как уже упоминалось в разд. 1.2, эта теория весьма полезна.
В настоящей главе доказывается очень частный случай основной теоремы: теорема кодирования без шума, когда проблемы, связанные с шумом, игнорируются. После того, как эта теорема и ее доказательство станут понятными, более ясным станет и доказательство основной теоремы; в этих щелях нужно лишь использовать ряд предварительных результатов из гл. 9.
