Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше
Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике
Предположим теперь, что последовательные буквы сообщения статистически независимы, но выбираются всякий раз с одними и теми же вероятностями. Р — вероятность буквы из алфавита. Такой тип источника назовем источником с независимыми буквами.
Имея такую совокупность вероятностей и меру искажения можно следующим образом определить скорость при заданном искажении. Выберем произвольное множество вероятностей перехода от к (Конечно, При этом можно вычислить две величины: меру искажения когда буква воспроизводится как с условной вероятностью и среднюю взаимную информацию между и для того же случая, а именно
Скорость при заданном искажении определяется как нижняя грань при варьировании таком, чтобы соблюдались естественные вероятностные ограничения и среднее искажение оставалось меньшим или равным
Заметим, что — непрерывная функция от в области изменения Эта область замкнута. Следовательно, нижняя грань действительно достигается и является минимумом всевозможных значений Далее, из этого определения ясно, что — монотонно убывающая функция
из алфавита. Такой тип источника назовем источником с независимыми буквами.
и меру искажения 
можно следующим образом определить скорость при заданном искажении. Выберем произвольное множество вероятностей 
перехода от 
к 
(Конечно, 
При этом можно вычислить две величины: меру искажения 
когда буква 
воспроизводится как 
с условной вероятностью 
и среднюю взаимную информацию между 
и 
для того же случая, а именно
при заданном искажении 
определяется как нижняя грань 
при варьировании 
таком, чтобы соблюдались естественные вероятностные ограничения и среднее искажение 
оставалось меньшим или равным 
— непрерывная функция от 
в области изменения 
Эта область замкнута. Следовательно, нижняя грань 
действительно достигается и является минимумом всевозможных значений 
Далее, из этого определения ясно, что 
— монотонно убывающая функция 
