5. Кодирующие устройства

Соображения предшествующих разделов естественно ведут к проблемам кодирования и построения кодирующих устройств. Так, например, кодирующее устройство должно обладать памятью для уменьшения избыточности поступающих букв; иначе говоря, кодирующее устройство должно «вспоминать» предыдущие буквы для того, чтобы создать кодовое обозначение следующей поступающей буквы. Если мы обозначим: — состояние памяти в данный момент, хп-—следующая буква, — кодовое обозначение буквы , то память должна принять новое состояние, также зависящее от :

Результат наших вероятностных рассуждений по поводу зависимых событий кратко формулируется в 7-й теореме Шеннона:

«Кодирующая система может уменьшить, а в лучшем случае сохранить имеющуюся информацию».

Обратимое кодирующее устройство, могущее применяться как для кодирования, так и для декодирования, сохраняет информацию неизменной. Информация может быть отнесена либо к целому предложению, либо к единице времени, если сообщение создается непрерывно некоторым источником.

Результат Шеннона сходен с положением в термодинамике, где обратимый процесс не изменяет энтропии, тогда как при необратимом процессе энтропия всегда возрастает. Методы кодирования мы будем обсуждать в следующей главе.