§ 5.6. Эпсилон-энтропия гауссовского случайного вектора

В этом параграфе мы начнем изучение эпсилон-энтропии гауссовских источников более сложных, чем источники без памяти. Хотя в дальнейшем нас будут интересовать стационарные источники, здесь мы получим выражение для эпсилон-энтропии гауссовского случайного вектора, в общем случае не обязательно связанного с некоторым стационарным источником.

Пусть случайный вектор с Пусть аппроксимирующий случайный вектор, причем правило аппроксимации задается условной Если множество аппроксимирующих векторов конечно, то функцию будем рассматривать как обобщенную ф. п. в. Эта условная ф. п. в. вместе с функцией задает распределение вероятностей на множестве всех пар где реализация случайного вектора а у — реализация аппроксимирующего вектора К. Ф. п. в. этого распределения Пусть критерий качества и

— ошибка аппроксимации вектора х с помощью вектора у. Определение 5.6.1. Эпсилон-энтропией случайного вектора относительно критерия качества называется функция

где класс условных таких, что средняя ошибка

Очевидно, где

— средняя ошибка аппроксимации компоненты вектора Ниже мы будем рассматривать только случай гауссовского вектора X и квадратичного критерия качества Вначале будет рассмотрен простейший случай, когда компоненты вектора X представляют собой независимые гауссовские с. в., а затем будет рассмотрен общий случай.

5.6.1. Эпсилон-энтропия системы независимых гауссовских случайных величин.

В случае независимых с. в. вектор X имеет ф. п. в.

Будем предполагать, что

Из независимости с. в. следует, что

причем равенство достигается в том случае, когда пары с. в. статистически независимы, т. е. когда

для всех последовательностей х и у. Из (5.6.6) следует, что

В дальнейшем будет показано, что в множестве существует ф. п. в., на которой достигается минимум в первом выражении в (5.6.8). Минимум по во втором выражении в (5.6.8) ищется при условии

а минимум по ищется по всем таким одномерным ф. п. в., что средняя ошибка компоненты вектора X

не превосходит Так как слагаемые в (5.6.8) минимизируются независимо, то можно записать, что

где эпсилон-энтропия гауссовской с. в. относительно квадратического критерия качества. В § 5.4 было установлено, что

поэтому

при условии, что

При минимизации (5.6.12) можно полагать, что для любого величина ошибки не превосходит Действительно, если бы для некоторого номера то слагаемое в сумме (5.6.12) было бы равно нулю. Но тогда значение суммы могло бы быть уменьшено без увеличения общей ошибки за счет выбора и увеличения ошибки на той компоненте, для которой Заметим, кроме того, что ммонтонно не возрастает при увеличении поэтому условие (5.6.13) можно заменить следующим:

Если минимум найдется при условии (5.6.14), то этот минимум будет равен искомой величине

Таким образом, мы получили следующую задачу минимизации:

Нетрудно проверить, что область допустимых векторов ел), по которой разыскивается минимум, является выпуклой. Действительно, для любых двух векторов из и любого вектор

принадлежит Нетрудно также проверить, что функция, стоящая под знаком минимума, является выпуклой вниз. Это следует из того, что каждое слагаемое — выпуклая вниз функция и переменные входят по одному в каждое слагаемое. Поэтому задача минимизации (5.6.15) является стандартной задачей минимизации выпуклой вниз функции на выпуклом множестве векторов. Решение ее дается теоремой Куна-Таккера (см. § 2.8, теоремы 2.8.1, 2.8.2).

Согласно этим теоремам необходимым и достаточным условием того, чтобы вектор минимизировал функцию

при условиях

является существование такого числа что

Если удастся подобрать некоторое и вектор удовлетворяющий ограничениям (5.6.17), и если при этом будут выполняться условия (5.6.18), то по теореме Куна-Таккера этот вектор будет минимизировать функцию (5.6.16).

Пусть — корень уравнения

и пусть

Очевидно, что вектор определяемый соотношениями (5.6.19) и (5.6.20), удовлетворяет условиям (5.6.17). Покажем, что при

условия (5.6.18) удовлетворяются.

Действительно,

Так как для всех для которых для остальных то

Таким образом, указанный выше вектор минимизирует функцию и

есть эпсилон-энтропия гауссовского вектора с независимыми компонентами, дисперсии которых равны

Замечание. При выводе формулы (5.6.24) мы, не оговаривая, предполагали, что все дисперсии положительны. В противном случае неравенство (5.6.6) не было бы обоснованным, так как относительные энтропии с. в. с нулевыми дисперсиями равны минус бесконечности. На самом деле формула (5.6.24) остается справедливой и в случае, когда некоторые или все дисперсии равны нулю. В этом случае те компоненты вектора X, которые имеют нулевые дисперсии, принимают неслучайные значения и, следовательно, должны аппроксимироваться также неслучайными величинами. Поскольку они не случайны, то эти пары величин статистически не зависят от остальных и информация равна информации где X — это такая подсистема системы X, все с. в. которой имеют ненулевые дисперсии.