9.6. ДИСКРЕТНЫЕ ПО ВРЕМЕНИ ИСТОЧНИКИ С НЕПРЕРЫВНЫМИ АМПЛИТУДАМИ

Рассмотрим теперь источники, для которых выход представляет собой последовательность статистически независимых, одинаково распределенных непрерывных, действительных, случайных величин Предположим, что распределение букв источника в каждый момент описывается плотностью вероятности Выход источника должен быть представлен у адресата последовательностью действительных чисел и имеется мера искажения принимающая числовые значения для всех действительных чисел и определяющая искажение, если выход источника и представляется у адресата значением Примем, как и раньше, что и что для каждого и имеется (обычно для которого Наиболее употребительными мерами искажения являются разностные меры искажения, у которых является функцией только разности и наиболее распространенной разностной мерой является

Функция для такого источника определяется равенством

где нижняя грань берется по всем совместным вероятностным мерам на пространстве при ограничениях, что плотность вероятности на и что среднее искажение не более Такое же определение будет использоваться для и в случае, когда произвольное пространство, а не только действительная прямая, и когда вероятностная мера на (и заданная -алгебра подмножеств) произвольна, а не только плотность вероятности.

Для этих источников и мер искажения кривая невозрастающая и выпуклая по Это можно понять, пользуясь теми же соображениями, что и в дискретном случае, и используя здесь интегралы вместо сумм. Основное различие между рассматриваемым здесь, и для дискретного случая состоит в том, что, как правило, в непрерывном случае (ср. рис. 9.2.1 и 9.7.1).

Теорема 9.2.1 (которая утверждает, что если среднее искажение на букву в последовательности из букв источника, то также имеет место, когда произвольное пространство с произвольной вероятностной мерой. Однако, когда энтропия не определена, доказательство должно быть видоизменено следующим образом:

В остальном доказательство проводится, как и ранее.

Теорема 9.6.1. Теорема 9.2.2 (обращение теоремы кодирования для источников, связанных с мерой искажения) применима в общем случае ко всем дискретным по времени источникам без памяти с мерой искажения, заданной для отдельных букв.

Доказательство такое, как в теореме 9.2.2, и поэтому опускается.

Теорема кодирования для непрерывных по амплитуде источников также вполне аналогична соответствующей теореме для дискретных источников. Для заданного источника и тест-канала (т. е. заданной вероятностной меры на пространстве опять рассматривается ансамбль независимо выбранных кодовых слов, каждая буква в котором выбирается в соответствии с вероятностной мерой на Лемма 9.3.1 применима здесь без изменений. Если источник и тест-канал описываются совместной плотностью вероятности, то доказательство леммы может быть модифицировано просто заменой всех сумм интегралами и всех вероятностей плотностями. Для произвольной совместной

меры вероятности (полагая, что измеримы и применимо такое же доказательство, опирающееся на общие результаты теории меры.

Теорема 9.6.2. Пусть скорость как функция искажения для дискретного по времени источника с мерой искажения и пусть существует конечное множество букв адресата такое, что конечно, где математическое ожидание берется по ансамблю источника сообщений. Для любых и достаточно большого существует код источника, для которого энтропия множества кодовых слов удовлетворяет неравенству и среднее искажение на букву удовлетворяет неравенству Кроме того, если то существует код с кодовыми словами и средним искажением

Обсуждение. Интерпретация и с помощью числа двоичных символов на символ источника, требуемых для представления источника, аналогична той, которая была в дискретном случае. Условие означает, что имеется способ разбиения (или квантования) выхода источника на конечное число областей с конечным средним искажением. Если это условие не имеет места, то любой блоковый код с конечным числом кодовых слов должен иметь бесконечное среднее искажение, так как он использует лишь конечное множество букв адресата.

Доказательство. Выберем тест-канал (т. е. совместную вероятностную меру), для которого Применим лемму 9.3.1 к этому тест-каналу, выбирая и

Тогда, как и в (9.3.11), имеем

где

Так как и конечны, то закон больших чисел утверждает, что для фиксированного вероятность стремится к 0 при возрастании следовательно,

Пусть для любого заданного кода В — множество последовательностей источника, для которых Для любого некоторый код в ансамбле с заданным удовлетворяет неравенству Добавим к этому коду множество кодовых слов, одно кодовое слово для каждой последовательности из букв алфавита Отобразим последовательности источника, не содержащиеся в В, в первоначальные кодовых слов с искажением на букву, не большим Отобразим последовательности источника из В в ближайшее из добавочных кодовых слов. Энтропия всего множества кодовых слов ограничена так же, как в (9.3.28),

Если то общее число кодовых слов равно

Следовательно, для достаточно больших удовлетворяются ограничения на и

Пусть случайная величина,

и пусть являются одинаково распределенными случайными величинами

Искажение на букву для последовательности и имеет вид Среднее искажение на букву для заданного кода, таким образом, ограничено выражением

где верхняя граница искажения, связанная с и а последнее выражение является искажением, связанным с Пусть некоторое число, которое будет выбрано позднее, и пусть для каждого

Тогда

Первое из указанных выше слагаемых было ограничено сверху на основе того, что так как для то Второе

слагаемое было ограничено сверху с помощью неравенства Используя определения имеем

где функция распределения Подставляя (9.6.12) и (9.6.13) в (9.6.10), получаем

Так как по предположению то последний интеграл в (9.6.14) стремится к 0, когда стремится к следовательно, последний интеграл меньше чем 6/4 при достаточно больших Для такого имеем при достаточно больших Следовательно, при достаточно больших имеем

Хотя эта теорема показывает, что коды источника могут иметь скорость, сколь угодно близкую к при средних искажениях, сколь угодно близких к однако условия теоремы не достаточно сильны, чтобы можно было утверждать, что искажения, близкие к могут быть достигнуты после передачи по каналу с шумами. Требуемые дополнительные условия приведены в следующей теореме.

Теорема 9.6.3. Если дискретный по времени источник без памяти с мерой искажения удовлетворяет условию для каждого где математическое ожидание взято по ансамблю источника, и если этот источник связан с адресатом с помощью канала, имеющего пропускную способность С нат на букву источника, и для которого произвольно малая вероятность ошибки может быть достигнута при любой скорости передачи данных, меньшей С, то может быть достигнуто среднее искажение на букву, произвольно близкое к где В более общем случае условие заменяется на условие, что может быть аппроксимирована сколь угодно точно на совместных мерах вероятностей, для которых равна нулю вероятность множества таких что

Доказательство. Покажем, что для любого может быть достигнуто среднее искажение на букву Если то теорема тривиальна, так что будем предполагать, что Из условий теоремы следует, что конечно, где наименьшее значение, для которого Следовательно, строго убывает где Пусть и пусть равно наименьшему из чисел и 6/4. Из теоремы 9.6.2 следует, что можно выбрать код столь большой блоковой длины что число кодовых слов удовлетворяет неравенству

и искажение на букву удовлетворяет неравенству

Так как имеется конечное число букв в этом заданном коде, то можно выбрать равным максимуму по буквам из кода. Теперь среднее искажение на последовательность при условии, что кодовое слово источника ошибочно воспроизводится каналом как равно среднему искажению между и теми и, которые отображаются в Оно ограничено сверху Так как вероятность ошибочного декодирования в канале может быть сделана произвольно малой (быть может, одновременным кодированием многих блоков источника), то вклад в среднее искажение из-за ошибок в канале может быть сделан сколь угодно малым для заданного кода источника, и среднее искажение на букву, включающее ошибки в канале, удовлетворяет неравенству

Для того чтобы глубже понять, почему в теореме требуется, чтобы для всех полезно рассмотреть код, для которого скажем для 1-й буквы кодового слова кода. Предположим, что этот код источника используется для передачи по дискретному по времени каналу без памяти с минимальной переходной вероятносью Если для кода канала с длиной блока N имеется какой-либо выход канала, который декодируется в то при любом выборе последовательность (и, следовательно, будет возникать с вероятностью, не меньшей Тогда среднее искажение для буквы кода удовлетворяет соотношению

При попытке вычислить функцию для любых заданных непрерывного по амплитуде источника и меры искажения удобно (как и в § 9.4) иметь дело с функцией

где через обозначен заданный тест-канал, а через обозначены средняя взаимная информация и среднее искажение для совокупности источника и тест-канала. Как и ранее, нижняя грань по всем тест-каналам (т. е. по всем совместным вероятностным мерам с соответствующей входной вероятностной мерой) равна координате точки пересечения оси R с касательной наклона — к кривой Если плотность вероятности букв источника, то нижняя граница теоремы 9.4.1 принимает вид

где удовлетворяет ограничению

Необходимые и достаточные условия, накладываемые на и на плотность переходной вероятности для того, чтобы в (9.6.18) имело место равенство, заключаются в том, что функция со удовлетворяет соотношению

и что (9.6.19) удовлетворяется с равенством для всех для которых Тогда

Доказательство этих утверждений совпадает с доказательством первой половины теоремы 9.4.1 при замене сумм на интегралы. Однако мы не можем показать, что всегда существуют функции для которых (9.6.18) удовлетворяется с равенством. Мы не можем даже доказать, что к равенству можно приблизиться путем все более и более тщательного выбора хотя это последнее утверждение кажется верным. К счастью, для важного примера, изложенного в следующем параграфе, равенство может быть достигнуто и нижняя граница дает возможность легко вычислить