ГЛАВА 4. ПРИНЦИПЫ КОДИРОВАНИЯ; ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА

1. Введение

В предыдущих главах мы определили информационное содержание некоторого сообщения и обсудили роль избыточности, уменьшающей действительное количество информации, приходящейся на одну букву письменного сообщения. Если I есть средняя информация на букву, и если источник выдает буквы со скоростью m букв в секунду, то поток (скорость создания) информации равен

Может оказаться удобным заменить алфавит другой совокупностью символов для того, чтобы уменьшить избыточность и сократить число символов, передаваемых за одну секунду. Общая процедура, которую нужно применить для выполнения такой операции кодирования, описана в конце предыдущей главы. Если применяемый преобразователь обратим, то поток информации сохраняется, и при кодировании не происходит потери информации. Аналогичный преобразователь (действующий в обратном направлении) может применяться для декодирования сообщения и превращения его снова в письменный текст. Если наш преобразователь необратим, он может потерять часть информации, что поведет к ошибкам и недоразумениям. Итак, первое требование к преобразователю состоит в том, что он должен быть обратимым.

Как построить наиболее эффективный преобразователь? Общего ответа на этот вопрос нет; ответ зависит от того, каково предполагаемое использование кодированных сигналов. Мы должны, прежде всего, обсудить свойства канала,

по которому сигналы должны передаваться (если речь идет о проблемах связи), или запасаться (если мы имеем в виду запоминающее устройство вычислительной машины).

Наилучшим является тот метод кодирования, который эффективно согласовывает поток информации с пропускной способностью канала. Сначала обсудим проблему канала и его пропускной способности.