28. Скорость создания сообщений источником при данной точности воспроизведения

Теперь можно определить скорость создания сообщений непрерывным источником. Нам задано распределение для источника и оценка определяемая функцией расстояния которая будет предполагаться непрерывной как по х, так и по у. Качество данной системы измеряется величиной

Кроме того, скорость потока двоичных символов, соответствующая равна

Определим скорость создания сообщений при данной точности воспроизведения как минимум когда при фиксированном варьируется Таким образом,

при условии

Это означает, что в действительности рассматриваются все системы связи, которые могли бы быть использованы и которые обеспечивает передачу с требуемой точностью. Скорость передачи в битах в секунду вычисляется для каждой системы, и выбирается наименьшая скорость. Она и будет скоростью создания сообщений, которую мы приписываем источнику при данной точности

воспроизведения. Обоснование этого определения заключается в следующей теореме.

Теорема Если источник при данной оценке имеет скорость создания сообщений то можно закодировать сообщения на выходе источника и передавать их по каналу с пропускной способностью С при точности воспроизведения, как угодно близкой к если только Это невозможно, если

Последнее утверждение теоремы немедленно следует из определения и предыдущих рассуждений. Если бы оно не было верным, то можно было бы передавать больше чем С бит в секунду по каналу с пропускной способностью С. Первая часть теоремы доказывается методом, аналогичным использованному при доказательстве теоремы 11. Во-первых, можно разделить пространство на большое число малых ячеек и рассматривать этот случай как дискретный. Это изменит функцию оценки не больше чем на сколь угодно малую величину (если ячейки очень малы) из-за предполагаемой непрерывности Предположим, что есть конкретная система, которая минимизирует скорость, придавая ей величину Выберем из высоковероятных сообщений случайным образом множество, содержащее

членов, где при . При большом Т каждая выбранная точка будет соединяться высоковероятными линиями (как на рис. 10) с некоторым множеством х. Вычисления, подобные использованным при доказательстве теоремы 11, показывают, что при большом Т почти все х охватываются веерами линий от выбранных точек у для почти всякого выбора множества у. Система связи, которая должна быть использована, действует следующим образом. Выбранным точкам приписываются двоичные числа. Когда появляется сообщение, оно будет (с вероятностью, стремящейся к 1 при ) расположено по крайней мере на одном из вееров. Соответствующее двоичное число (или если их несколько, то одно из них, выбранное произвольно) передается по каналу, закодированное надлежащим образом для обеспечения малой вероятности ошибки. Так как то это возможно. В точке приема восстанавливается соответствующее у, и затем оно используется как воспроизведенное сообщение.

Оценка для этой системы может быть сделана сколь угодно близкой к если взять Т достаточно большим. Это происходит из-за того, что для каждой длинной выборки сообщения и воспроизведенного сообщения оценка стремится к (с вероятностью 1).

Интересно отметить, что в этой системе шумы в воспроизводимом сообщении в действительности создаются за счет квантования в передатчике, а не за счет шума в канале. Они более или менее аналогичны шумам квантования при кодово-импульсной модуляции.