Мера искажения отдельной буквы

Предположим, что имеется дискретный источник информации, вырабатывающий последовательность букв или «слово» каждая буква выбрана из конечного алфавита.

Они должны быть переданы и воспроизведены, хотя бы приближенно, на приемном конце. Пусть — воспроизведенное слово. Буквы могут быть как из того же самого алфавита, что и буквы так и из расширенного алфавита, содержащего специальные символы для нераспознанных или не вполне распознанных букв.

В случае телеграфирования при наличии помех и могут, например, иметь следующий вид:

При этом алфавит состоит из обычных букв и пробела, образующих алфавит и дополнительных символов «?», «А», «В» и т. д.,

указывающих на некоторую неопределенность в отождествлении. Иногда алфавит может целиком отличаться от алфавита .

Рассмотрим случай, когда задана мера точности передачи или «искажения», измеряющая расхождение между переданными и принятыми словами. Сначала исследуем специальный вид меры искажения, который явится основой для существенных обобщений.

Определим меру искажения отдельной буквы. Пусть задана матрица Здесь принимает значения, соответствующие алфавиту состоящему, скажем, из а букв (предполагается, что буквы перенумерованы), в то время как принимает значения, соответствующие алфавиту Величину можно рассматривать как стоимость воспроизведения буквы буквой Пусть алфавит включает в себя алфавит т. Тогда будем считать, что искажение между буквой алфавита и ее точным воспроизведением равно нулю и при любом неточном воспроизведении положительно. В этом случае удобно использовать одинаковую индексацию обоих алфавитов, так что

Если слово воспроизведено как слово то искажение измеряется следующим образом:

Если в системе связи слово встречается с вероятностью и если условная вероятность того, что при передаче слово будет воспроизведено как слово равна то полное искажение системы определяется выражением

Здесь предполагается, что все сообщения и воспроизведенные слова имеют одну и ту же длину . В системах кодирования с переменной длиной слов аналогичной мерой является просто сумма по и произведений на полную вероятность того, что буква воспроизведена как буква Заметим, что тогда и только тогда, когда каждое слово с вероятностью единица воспроизводится точно; в противном случае (в случаях, когда алфавит содержит алфавит