8.1.1. Суммарная мера погрешности

В качестве единой меры погрешности, принимающей действительные значения, естественно выбрать суммарную меру, определяемую как

где

Для последовательностей Усостоящих из N членов, очевидным обобщением этой меры будет сумма

где

Так как для всех I, то

Таким образом, вводя суммарную меру погрешности, сводим задачу к рассмотрению единого дискретного источника без памяти с алфавитом , распределением вероятностей алфавитом

представления и ограниченной побуквенной мерой погрешности К этой задаче непосредственно применимы теоремы кодирования, приведенные в § 7.2, а скорость как функция погрешности определяется равенством [см. (7.2.53)]

где

Из теоремы 7.6.1 следуют необходимые и достаточные условия того, что распределение вероятностей удовлетворяет равенству

где

а удовлетворяет параметрическим уравнениям для

Заметим, что компоненты вектора х, вообще говоря, могут быть зависимы между собой, хотя последовательные векторы взаимно независимы. Особый интерес представляет случай, когда все компонент выходного вектора независимы, что соответствует независимым источникам без памяти (см. рис. 8.1).

Лемма 8.1.1. Независимые компоненты, суммарная мера погрешности. Скорость как функция погрешности для источника с независимыми компонентами и суммарной мерой погрешности задается параметрически соотношениями

и

где скорость как функция погрешности для компоненты с мерой погрешности, определяемая параметрически одним и тем же параметром для всех

Доказательство. Пусть распределение вероятностей выходной компоненты источника. Напомним, что мера погрешности для этой компоненты. (Можно рассматривать каждую компоненту как выходную величину некоторого дискретного источника без памяти.) Предположим, что на условном распределении вероятностей для компоненты при достигается требуемое значение скорости как функции погрешности и, следовательно, удовлетворяются условия

где

Предположим также, что удовлетворяются параметрические уравнения

Так как источники независимы, то

Полагая

и

находим, что при таком выборе удовлетворяются необходимые и достаточные условия (8.1.10) и (8.1.14), откуда и следует искомый результат

Естественно ожидать, что в случае, когда компоненты источника не являются независимыми, скорость как функция погрешности оценивается сверху скоростью как функцией погрешности, соответствующей независимым компонентам. Покажем это.

Теорема 8.1.1. При суммарной мере погрешности скорость как функция погрешности оценивается сверху величиной равной скорости как функции погрешности для источника с независимыми компонентами и теми же самыми маргинальными распределениями вероятностей. Это» значит, что

где определено в (8.1.15) и (8.1.16).

Доказательство. Напомним, что для любого

Но согласно лемме 1.2.1 для любого распределения вероятностей

Выберем

где соответствуют распределению на котором достигается для каждого Тогда

Эти теоремы верны также для случайных векторов с непрерывными амплитудами при условии, что меры погрешности для каждой пары источник-пользователь обладают ограниченной дисперсией. Источник без памяти с векторным выходом и суммарной мерой погрешности служит удобной моделью для изучения проблем, возникающих при кодировании источников с памятью. К полученным выше результатам вернемся, когда перейдем к изучению источников с памятью как с дискретным, так и с непрерывным временем.

Пример. (Гауссовские векторные источники, квадратично-разностная погрешность.) Предположим, задан источник без памяти, порождающий каждые секунд вектор с независимыми гауссовскими компонентами с нулевым средним значением и дисперсией

Положим также Согласно § 7.7, для пары источник-пользователь скорость как функция погрешности определяется соотношением

а ее пактом юмма 7.7.1)

Выбирая значения 5 одинаковыми для всех пар источник-пользователь, для каждой компоненты получаем погрешность

или

где

Переходя к суммарной мере погрешности, находим, что с помощью параметра скорость как функция погрешности записывается

При малых значениях погрешности отсюда имеем

8.1.2. Максимальная мера погрешности

Для источника без памяти с векторным выходом, характеризуемым набором компонент меры погрешности пары источник-пользователь (8.1.3), можно указать другую естественную форму

единой меры погрешности между и определяя ее как

где некоторый набор неотрицательных действительных чисел. Напомним, что для каждого

Эта мера погрешности по существу представляет собой максимум среди погрешностей всех пар источник-пользователь. Параметры смещения позволяют регулировать значение погрешности для каждой пары. Поскольку мы стремимся минимизировать погрешность то такой подход можно рассматривать как минимаксный. Заметим, что хотя источник без памяти, но вводимая таким образом погрешность уже не является побуквенной. Это значит, что

Следовательно, теорема кодирования (см. § 7.2) больше не применима. Но с небольшими изменениями предыдущие доказательства теоремы кодирования оказываются пригодными и в случае максимальной меры погрешности.

Средняя погрешность в блочном коде длины N и скорости нат/символ источника

Для любого условного распределения вероятностей определим ансамбль кодов, в котором компоненты кодовых слов выбираются независимо в соответствии с распределением где

Тогда, повторяя рассуждения § 7.2, с помощью которых выводится граница (7.2.30), найдем, что среднее по ансамблю кодов значение погрешности ограничено согласно неравенству

где

Найденная граница отличается от границы (7.2.30) только членом который далее удается оценить, вводя множества

и их объединение

Применяя аддитивную границу, находим

Используя (8.1.54), получаем

где для

Предположим, необходимо закодировать источник так, чтобы для пары источник-пользователь достигалась средняя погрешность Пусть требуемый вектор погрешностей. Рассмотрим погрешность усредненную по совместному ансамблю

где маргинальные распределения, соответствующие распределениям Затем определим класс условных распределений вероятностей

Наконец, определим скорость как векторную функцию погрешности соотношением

Чтобы показать, что действительно является скоростью как функцией погрешности в схеме кодирования с погрешностями необходимо доказать теорему кодирования и ее обращение.

Теорема 8.1.2. Теорема кодирования источников, векторная погрешность. Для заданного и требуемых погрешностей -компонентного источника существует такое целое что для каждого существует блочный код длины N и скорости для которого

Это значит, что пара источник-пользователь имеет среднюю погрешность, не меньшую чем для всех

Доказательство. Выберем в неравенстве (8.1.55) параметр Тогда для каждого

При заданном и распределении источника случайные величины являются независимыми и одинаково распределенными со средним значением, не превышающим Следовательно, по закону больших чисел

для любого Пусть, в частности, при достигается равенство Тогда из (8.1.55) и (8.1.62) следует, что для любого существует целое такое, что при любой длине блока

Следовательно, существует блочный код 98 со скоростью длины такой, что

или

Теорема 8.1.3. Обратная теорема кодирования источников, векторная погрешность. Если блочный код длины

N и скорости обладает средней погрешностью для каждой из пар источниктпользователь, то где

Доказательство. Для кода определим условное распределение вероятностей

Так как в коде 38 достигается средняя погрешность для каждого I, то

Обозначим через маргинальное распределение, соответствующее распределению и определим распределение вероятностей

Тогда для каждого I

Следовательно, определяемое соотношением (8.1.68), принадлежит и поэтому

Из неравенств (7.2.46) и (7.2.47) находим границу

Теоремы 8.1.2 и 8.1.3 устанавливают значение скорости как функции погрешности для векторного источника с максимальной мерой погрешности. В частном случае, когда все компонент источника независимы, приходим к следующему следствию.

Следствие 8.1.4. Независимые компоненты, максимальная погрешность. Если все компонент источника независимы,

где то скорость как функция погрешности определяется соотношением

где скорость как функция погрешности компоненты источника.

Доказательство. Теорема следует непосредственно из доказательства теорем 8.1.2 и 8.1.3 с использованием дополнительного условия независимости Эвристически это можно объяснить тем, что поскольку источники в схеме, приведенной на рис. 8.1, независимы, то кодер источника вынужден производить для каждой пары источник-пользователь столько информации, сколько ее необходимо для достижения требуемой точности независимо от информации, производимой им для других пар.