7.7. Вычисление R(D). Непрерывные по амплитуде источники без памяти

Условия, при которых производится вычисление функции для непрерывных источников без памяти, аналогичны условиям, при которых производится ее вычисление для дискретных источников без памяти. Напомним, что скорость как функция погрешности определяется выражениями (7.5.23), (7.5.18) и (7.5.21) в виде нат/символ источника, где

Как и в случае дискретных источников, непрерывная, строго убывающая функция от для где

Свойство строгого убывания функции приводит к тому, что если для достигается то

Чтобы найти минимизируем функцию 00 00

соблюдая относительно следующие условия:

Вводя множители Лагранжа для ограничений, заданных в виде равенств (7.7.5) и (7.7.6), и пользуясь методами вариационного исчисления, получаем следующий вариант теоремы 7.6.1, соответствующий случаю непрерывных амплитуд (см. Бергер [1971], гл. 4).

Теорема 7.7.1. Для того чтобы скорость как функция погрешности достигалась на условном распределении вероятностей необходимо и достаточно, чтобы

а при значения удовлетворяют параметрическим уравнениям

Рассуждая так же, как и в случае дискретного по амплитуде источника, получаем следующие леммы и теорему.

Лемма 7.7.1. Параметр равен наклону кривой скорости как функции погрешности в точке Таким образом,

Лемма 7.7.2. Производная непрерывна для

Теорема 7.7.2. Скорость как функция погрешности может быть представлена соотношением

где

Необходимое и достаточное условия для значений и X, при которых достигается максимум, те же самые, что и в теореме 7.7.1

Основное различие между скоростями как функциями погрешности для непрерывного и дискретного источников состоит в том, что в первом случае при так как энтропия источника с непрерывной амплитудой бесконечна. Известно лишь несколько примеров точного аналитического вычисления скорости как функции погрешности для источников с непрерывной амплитудой. Сначала приведем наиболее распространенный пример гауссовского источника без памяти с квадратично-разностной мерой погрешности.

Пример. (Гауссовский источник, квадратично-разностная погрешность.) Рассмотрим источник, который в каждый момент времени порождает гауссовскую случайную величину с плотностью вероятностей

и Выберем квадратично-разностную меру погрешности В этом случае Далее найдем условную плотность вероятности Рев, которая удовлетворяет необходимому и достаточному условиям теоремы 7.7.1 при Естественно, что при некотором выберем

Это приводит к множителю Лагранжа определяемому как

где Такой выбор приводит к выражению для вида

Остается удовлетворить параметрическим уравнениям для Сначала заметим, что

Величина непосредственно связана с параметром тогда как величина произвольная. Выберем величину удовлетворяющей условию Это приводит к значению определяемому равенством

Тогда выражение для принимает вид

так что

Рассмотренный пример является простейшим. Далее приведем без доказательства несколько других известных примеров

Пример. (Гауссовский источник, абсолютно-разностная погрешность.) Рассмотрим опять тот же гауссовский источник с плотностью вероятностей, определяемой выражением (7.7.15), и введем меру погрешности Здесь Для скорость как функция погрешности задается параметрическими соотношениями

где Аналогичные выражения скорости как функции погрешности для классов источников, плотности вероятностей которых имеют сильно убывающие хвосты, при абсолютно-разностной мере погрешности представлены в работе Тана и Яо [1975].

[В приведенном примере — гауссовская интегральная функция, определенная в

Пример. (Экспоненциальный источник, абсолютно-разностная мера погрешности Предположим, что плотность вероятностей источника

а мера погрешности Тогда Если для выбрать (Бергер [1971])

то получим скорость как функцию погрешности

Пример. (Равномерный источник, абсолютно-разностная мера погрешности.) Рассмотрим источник с равномерной плотностью вероятностей

и мерой погрешности Тогда Для имеем

В заключение заметим, что Рубин [1973] вычислил скорость как функцию погрешности для пуассоновского источника при абсолютно-разностной мере погрешности. В большинстве других случаев вычисление скорости как функции погрешности ограничивается малыми значениями погрешности, где простые нижние границы часто совпадают с точным значением функции.

Так как в общем случае трудно вычислять, то естественно рассматривать различные границы скорости как функции погрешности. Верхние границы легко следуют из определения, так как для любого Вся хитрость состоит в выборе распределения При заданной мере погрешности часто не представляет труда выбор условной плотности вероятностей, который приводит к простой и удобной верхней оценке. Например, для квадратично-разностной меры погрешности естественно выбирать Рев в виде плотности гауссовского распределения.

Теорема 7.7.3. Пусть любая плотность вероятностей источника с нулевым средним и дисперсией Иначе, предположим, что

Тогда для этой плотности вероятностей и квадратично-разностной меры погрешности скорость как функция погрешности ограничена согласно неравенству

где равенство выполняется тогда и только тогда, когда плотность гауссовского распределения.

Доказательство. Пусть для заданного из интервала

Тогда

Следовательно, поэтому

Но

Обозначая дифференциальную энтропию плотности как 00

и замечая, что

находим, что

где было выбрано в соответствии с (7.7.31). Заметим, что из (7.7.28), (7.7.29) и (7.7.31) следует, что

Из задачи 1.13 вытекает, что дифференциальная энтропия любой плотности вероятностей ограничена сверху дифференциальной энтропией гауссовской плотности с теми же средним и диоперсией. Следовательно, используя (7.7.37) и (7.7.38), находим, что

что и приводит к искомой оценке

Таким образом, при заданной дисперсии гауссовский источник обладает максимальной скоростью как функцией погрешности при квадратично-разностной мере. Это означает, что для любого заданного источника с дисперсией и квадратично-разностной мерой погрешности существует блочный код со скоростью нат/символ источника, в котором достигается средняя погрешность Сакрисон [1975] показал, что при коды, на которых достигается средняя погрешность для гауссовского источника, действительно оказываются пригодными (в смысле достижения той же погрешности для любого другого источника с той же дисперсией. Аналогичные результаты были получены для источников с фиксированными моментами выше второго порядка.

Наибольшие усилия при вычислении скорости как функции погрешности направлены на получение нижних границ для Отчасти это связано с тем, что для многих источников и мер погрешности известная нижняя граница Шеннона [1959] совпадает с точным значением скорости как функции погрешности в некотором интервале малых значений меры Чтобы вывести нижнюю границу для рассмотрим скорость как функцию погрешности в том виде, в каком она указана в теореме 7.7.2. Согласно теореме

для любого любого где

Снова нужно подходящим способом выбрать Для разностных мер погрешности зависящих только от разности находим следующую нижнюю границу

Теорема 7.7.4. Нижняя граница Шеннона. Для любого источника с плотностью вероятностей и разностной мерой погрешности выполняется неравенство

— дифференциальная энтропия источника.

Доказательство. Пусть удовлетворяет условию 00

Тогда

что и определяет выбор Подставляя (7.7.43) в (7.7.40), получаем искомый результат

Дифференцируя по нижнюю оценку (7.7.41), нетрудно найти решение для двух частных случаев.

Следствие 7.7.5. Квадратичная ошибка. При из приведенной теоремы находим

Следствие 7.7.6. Абсолютная ошибка. При ( из приведенной теоремы находим

Во многих случаях нижняя граница Шеннона оказывается точной. Это имеет место тогда, когда функция указанная в (7.7.43), удовлетворяет также условиям теоремы 7.7.1, которые выполняются в том и только в том случае, если при некотором существует плотность вероятностей вида

(см. задачу 7.18). Для этих значений находим, что Для гауасовского источника с квадратично-разностной мерой погрешности нижняя граница Шеннона является точной, т. е. для всех Это верно также для источников с двусторонней экспоненциальной плотностью вероятностей (7.7.23) и абсолютно-разностной мерой погрешности, функция для которых дана в (7.7.25). Для случая, когда нижняя граница нипде не является точной, рассмотрим следующий пример.

Пример. (Гауссовский источник, абсолютно-разностная мера погрешности.) Для гауссовского источника с плотностью вероятностей

и мерой погрешности имеем

Вообще говоря, точное значение скорости как функции погрешности [см. результаты примера (7.7.21) и (7.7.22)] строго больше, чем нижняя граница Шеннона. Однако и [1975] путем численных расчетов показали, что максимум разности составляет около 0,036 нат/символ источника и что при скоростях выше 1 нат/символ источника разность не превышает одной миллионной. Таким образом, можно считать, что является хорошим приближением к для этого источника (см. задачу 7.21).