Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 5.2. Эпсилон-энтропия и ее свойстваКлючевая роль в задаче определения е-скорости создания информации принадлежит специальной функции, эпсилон-энтропии, которую мы формально введем и изучим ее свойства. Полезность этой функции проявится позже. Дело обстоит в точности так же, как в задаче определения скорости создания информации дискретным источником Пусть Пусть
Удобно полагать, что Для ансамбля
Другая — средняя ошибка аппроксимации:
где
Определение 5.2.1. Пусть
Пусть
где минимум разыскивается по всем функциям
где точная нижняя грань берется по всем Рассмотрим свойства функции Первое очевидное свойство этой функции состоит в том, что она не отрицательна и определена только для неотрицательных значений Второе свойство, также достаточно очевидное, состоит в том, что Следующее свойство сформулируем в виде теоремы. Теорема 5.2.1. Пусть
где все сомножители в правой части (5.2.8) образованы с помощью одной и той же функции
где
Доказательство. Имеем
где второе равенство является следствием независимости сообщений источника
Поэтому
где использовано обозначение
и учтено то обстоятельство, что при всех
где
Из (5.2.3) следует, что Заметим, что равенства в (5.2.13) и (5.2.14) достигаются, если выбрать
т. е. если пары Покажем теперь, что функция Таким образом, мы показали, что
Теорема доказана. Теорема 5.2.2. Эпсилон-энтропия Доказательство. Мы докажем эту теорему для случая источников без памяти и коротко обсудим общий случай. Для непрерывного источника без памяти
Предположим, что минимум в (5.2.18) для значений и
есть ф. п. в., принадлежащая множеству
Поэтому имеет место неравенство
где
где Отсюда и из (5.2.21) вытекает выпуклость вниз функции Теорема 5.2.3. Пусть Тогда последовательность
Эта теорема приводится без доказательства. Основные моменты доказательства обсуждаются в задаче 5.2.4. Теперь будет показано, что в некоторой области значений
и пусть
Аппроксимации с помощью такого универсального элемента соответствует условная ф. п. в.
Это означает, что ансамбли
Рис. 5.2.1. Типичный график функции Пример 5.2.1. Рассмотрим квадратический критерий качества, введенный в примере
Эпсилон-энтропия такого источника равна 0 для всех Типичный график эпсилон-энтропии приведен на рис. 5.2.1.
|
1 |
Оглавление
|