§ 5.2. Эпсилон-энтропия и ее свойства

Ключевая роль в задаче определения е-скорости создания информации принадлежит специальной функции, эпсилон-энтропии, которую мы формально введем и изучим ее свойства. Полезность этой функции проявится позже. Дело обстоит в точности так же, как в задаче определения скорости создания информации дискретным источником Мы вначале ввели и изучили энтропию, а затем показали, что скорость создания информации равна энтропии.

Пусть непрерывный стационарный источник, выбирающий сообщения из множества Предположим, что аппроксимирующее множество и критерий качества. Для каждого целого определен ансамбль последовательностей сообщений длины распределение вероятностей на котором задается посредством Удобно полагать, что где — ансамбль сообщений в момент времени

Пусть множество аппроксимирующих последовательностей произвольное семейство условных ф. п. в. на Если — дискретное множество или дискретное подмножество непрерывного множества, то будем рассматривать как обобщенные ф. п. в. (см. § 2.2). Эти ф. п. в. совместно с ф. п. в. f (х) задают ансамбль где и ансамбль

Удобно полагать, что где У — ансамбль аппроксимирующих сообщений в момент времени Заметим, что в общем случае задающая распределение вероятностей на ансамбле зависит от номера

Для ансамбля определены две величины. Одна из них — средняя взаимная информация между ансамблями

Другая — средняя ошибка аппроксимации:

где

Определение 5.2.1. Пусть есть класс всех ф. п. в. такой, что для каждой функции из этого класса средняя ошибка не превосходит

Пусть

где минимум разыскивается по всем функциям из Тогда функция от

где точная нижняя грань берется по всем называется эпсилон-энтропией непрерывного стационарного источника относительно критерия качества

Рассмотрим свойства функции

Первое очевидное свойство этой функции состоит в том, что она не отрицательна и определена только для неотрицательных значений Неотрицательность следует из неотрицательности средней взаимной информации.

Второе свойство, также достаточно очевидное, состоит в том, что невозрастающая функция. Действительно, если то при всех множество содержит множество следовательно, минимум по некоторому множеству не может быть больше, чем минимум по части этого множества. Таким образом,

Следующее свойство сформулируем в виде теоремы. Теорема 5.2.1. Пусть источник без памяти, т. е. такой, что для любых и любых

где все сомножители в правой части (5.2.8) образованы с помощью одной и той же функции безусловной ф. п. в. на ансамбле Тогда

где множество всех одномерных условных ф. п. в. таких, что для любой функции

Доказательство. Имеем

где второе равенство является следствием независимости сообщений источника и свойства аддитивности относительной энтропии. Далее, так как и относительная энтропия не уменьшается при исключении части условий, то для любого

Поэтому

где использовано обозначение

и учтено то обстоятельство, что при всех множества совпадают между собой и с множеством Индекс в обозначении информации означает, что она вычислена для которая для произвольной может зависеть от индекса Если теперь положить выражение в правой части (5.2.13) в силу выпуклости вниз средней взаимной информации по условным распределениям можно оценить следующим образом:

где взаимная информация, вычисленная для где

Из (5.2.3) следует, что для любой

Заметим, что равенства в (5.2.13) и (5.2.14) достигаются, если выбрать

т. е. если пары статистически независимы и одинаково распределены. Первое равенство является тогда следствием аддитивности информации, а второе — следствием того, что при всех

Покажем теперь, что функция принадлежит множеству если принадлежит множеству Для того чтобы в этом убедиться, достаточно увидеть, что при указанном выше выборе средние ошибки будут одинаковы для всех и равны Но это так, поскольку пары одинаково распределены.

Таким образом, мы показали, что

Теорема доказана.

Теорема 5.2.2. Эпсилон-энтропия выпуклая вниз функция

Доказательство. Мы докажем эту теорему для случая источников без памяти и коротко обсудим общий случай. Для непрерывного источника без памяти

Предположим, что минимум в (5.2.18) для значений и достигается на условных соответственно. Пусть Я — неотрицательное число, лежащее между нулем и единицей. Функция

есть ф. п. в., принадлежащая множеству Действительно, так как для функций средние ошибки не превосходят величин соответственно, то

Поэтому имеет место неравенство

где средняя взаимная информация между ансамблями вычисленная для функции Теперь можно воспользоваться выпуклостью вниз средней взаимной информации по условным распределениям. Из выпуклости следует, что

где средняя взаимная информация, вычисленная для функции

Отсюда и из (5.2.21) вытекает выпуклость вниз функции . В общем случае в точности по той же схеме доказывается, что при каждом функции выпуклы вниз по Выпуклость следует из теоремы 5.2.3 и из того, что предел последовательности выпуклых функций также является выпуклой в ту же сторону функцией, Теорема доказана.

Теорема 5.2.3. Пусть ограничено при всех

Тогда последовательность имеет предел и

Эта теорема приводится без доказательства. Основные моменты доказательства обсуждаются в задаче 5.2.4.

Теперь будет показано, что в некоторой области значений эпсилон-энтропия равна нулю. Пусть при некотором

и пусть элемент, на котором достигается этот минимум. Тогда для всех следовательно, при тех же значениях Действительно, при выборе в качестве универсального аппроксимирующего элемента Для все средняя ошибка будет равна

Аппроксимации с помощью такого универсального элемента соответствует условная ф. п. в.

Это означает, что ансамбли статистически независимы и, следовательно, для ф. п. в. (5.2.26). Так как не превышает и не отрицательно, то для всех

Рис. 5.2.1. Типичный график функции

Пример 5.2.1. Рассмотрим квадратический критерий качества, введенный в примере Пусть источник без памяти порождает случайные величины с нулевым математическим ожиданием Число 0 является универсальным аппроксимирующим элементом при всех где дисперсия величин на выходе источника. Действительно,

Эпсилон-энтропия такого источника равна 0 для всех

Типичный график эпсилон-энтропии приведен на рис. 5.2.1.