8.3. Границы для R(D)

Точные значения скорости как функции погрешности для источников с памятью известны лишь в очень немногих случаях, включающих в первую очередь гауссовские источники с квадратично-разностной мерой погрешности. Поэтому построение легко вычисляемых границ функции для стационарных эргодических источников в общем случае представляется очень важной задачей. В частности, нижние границы полезны тем, что указывают границы, ниже которых уже невозможно кодировать, оставаясь в пределах заданной точности.

Напомним, что для стационарных эргодических источников

Следовательно, служит простейшей верхней границей, которая может быть найдена аналитически или путем вычислений, описанных в приложении В случае квадратично-разностной меры погрешности существует более общая формулировка теоремы

7.7.3, которая показывает, что при заданной погрешности гауссовский источник обладает наибольшим значением скорости как функции погрешности.

Теорема 8.3.1. Для любого стационарного эргодического источника с нулевым средним и спектральной плотностью

где скорость как функция квадратично-разностной меры погрешности удовлетворяет границе

а параметр уравнению

Это значит, что при заданной спектральной плотности гауссовский источник обладает наибольшим значением скорости как функции погрешности.

Доказательство. Согласно где диагональная матрица, составленная из собственных чисел матрицы Компоненты вектора некоррелированные случайные величины с ковариационной матрицей Скорость как функцию погрешности можно выразить через эти преобразованные координаты. Заметим, что по теореме 8.1.1

где скорость как функция погрешности, которая получается при независимых компонентах вектора Но, с другой стороны, определяется параметрическими уравнениями (см. лемму 8.1.1)

где скорость как функция погрешности компоненты источника при квадратично-разностной мере погрешности. Далее, из теоремы 7.7 3 следует, что

Таким образом,

где скорость как функция погрешности гауссовского источника с той же самой спектральной плотностью. Переходя к пределу при получаем искомый результат

Таким образом, общую верхйюю границу для дает скорость как функция погрешности первого порядка. В случае квадратично-разностной меры погрешности в качестве границы можно взять известную функцию скорости от погрешности, соответствующую гауссовскому источнику с теми же ковариационными свойствами. Обобщая нижние границы для источников без памяти, можно получить также нижние границы.

Предположим, что заданы стационарный эргодический источник и некоторая мера погрешности. Пусть его скорость как функция погрешности порядка. -мерный аналог теоремы 7.6.3 гласит, что

где

Положим

где Тогда

где

Это значит, что справедлива следующая теорема.

Теорема 8.3.2. Для стационарного эргодического источника со скоростью как функцией погрешности

справедлива нижняя граница

где

— дифференциальная энтропия первого порядка заданного источника, а его дифференциально-энтропийная скорость 00 00

Доказательство. Перейдем в соотношении (8.3.13) к пределу при Предельное значение существует и монотонно достигается сверху (Фано [1961])

Общее выражение нижней границы зависит от функции которую можно найти путем вычислений. Конечно, для существуют свои нижние границы, описанные в § 7.7. Для разностных мер погрешностей имеется обобщенная нижняя граница Шеннона (см. задачу 8.7)

где уровень погрешности, соответствующий параметру

Следствие 8.3.3. Скорость как функция погрешности стационарного гауссовского источника со спектральной плотностью и квадратично-разностной мерой погрешности ограничена снизу неравенством

где величина

является одновременно энтропийной мощностью и ошибкой в схеме одношаговой экстраполяции гауссовского источника (Гренандер и Сеге [1958, гл. 10]). Более того, для где существенный минимум

Доказательство. Если источник гауссовский, то

а

(см. задачу 8.8). Таким образом,

Если то согласно (8.2.69) и (8.2.70)

Обобщенная нижняя граница Шеннона (8.3.15), как это только что было показано в гауссовском случае, иногда оказывается в точности равной для малых значений Примеры, приведенные в § 7.7, показывают, что в большинстве случаев нижняя граница Шеннона дает очень хорошее приближение для всех значений