Обобщение на случаи непрерывных алфавитов

Дадим теперь краткий набросок обобщения понятия меры искажения отдельной буквы на случаи, в которых входной и выходной алфавиты не ограничиваются конечными множествами, а изменяются в произвольных пространствах.

Пусть алфавит сообщения и — алфавит воспроизводимых букв. Для каждой пары из этих алфавитов задано неотрицательное число -искажение, возникающее, когда воспроизводится как Далее предположим, что над борелевским полем подмножеств пространства А определена вероятностная мера Р. Наконец, потребуем, чтобы для каждого принадлежащего множеству была измеримой функцией с конечным математическим ожиданием.

Рассмотрим конечный набор точек из пространства В и зададим измеримые переходные вероятности (т. е. для каждого функция есть измеримая функция в пространстве А). При таком выборе и задании взаимная информация и среднее искажение определяются следующим образом:

Определим скорость при заданном для такого случая как наибольшую нижнюю грань когда варьируется совокупность точек (как по выбору точек, так и по их числу), а функция варьируется по измеримым переходным вероятностям; при этом уровень искажения не превышает

Большая часть выводов, полученных для случая конечного алфавита, легко проверяются и при этом обобщении. В частности, остается справедливым свойство выпуклости кривой Действительно, «пусть значение может быть аппроксимировано с точностью с помощью выбора а значение с помощью выбора

Рис. 9.

Рассмотрим совокупность точек образованную из объединения точек и переходные вероятности (заменяя или нулем в точках где они не определены). Благодаря выпуклости и линейности такой выбор приводит к точке с координатами находящейся в -окрестности средней точки отрезка прямой, соединяющего точку и точку или ниже ее. Поскольку может быть сделано произвольно малым, наибольшая нижняя грань находится в этой средней точке или ниже ее.

В общем случае, однако, кривая не всегда имеет конечный предел при убывающем до своего наименьшего возможного значения. Кривая эта может, например, иметь вид, указанный на рис. 9, где стремится к бесконечности по мере того, как стремится

к . С другой стороны, при сформулированных условиях существует конечное значение для которого Это значение дается выражением

Обратная часть теоремы кодирования доказывается по существу точно так же, как и в случае конечного алфавита. Предполагается только, что допустимым кодирующим функциям, отображающим сообщения на входные сигналы, соответствуют измеримые подмножества пространства сообщений. (Если не сделать этого предположения, то вообще невозможно даже определить понятие «среднее искажение».) Замена в соответствующих неравенствах сумм, определенных в пространстве А на интегралы, приводит к доказательству соответствующей обратной теоремы.

Те же рассуждения, что и в случае конечного алфавита, могут быть использованы здесь и для доказательства прямой теоремы кодирования с дополнительным введением для аппроксимации нижней грани при конечном наборе точек Выбирается множество точек которые аппроксимируют кривую с точностью до а затем применяется метод случайного кодирования. Единственный вопрос, который должен быть исследован несколько отличным методом, связан с членом . К каждому коду в ансамбле кодов можно добавить некоторую точку, например и заменить на являющееся конечной величиной. Отсюда следуют все выводы теоремы.