6.13. Итоги

Было введено понятие энтропии и показаны ее применения к получению границ выигрыша при кодировании различных источников информации. Энтропия, измеряющая неопределенность, неожиданность и информацию-, является естественным математическим понятием, применяемым в подобных ситуациях. На практике использование энтропии выходит далеко за эти рамки, однако здесь мы не можем рассматривать их.

Теорема Шеннона о кодировании без шума показывает, что при использовании достаточно большого расширения источника можно сколь угодно точно приблизить среднюю длину закодированного сообщения к энтропии источника. Это доказано как для простого источника, так и для более сложного марковского источника. Однако это не было доказано для всех возможных типов источников. Теорема кодирования без шума является предвестником основной теоремы Шеннона о том, что даже при наличии шума (ошибок) можно найти подходящую систему кодирования. Этотрезультат доказывается в гл. 10.