11.3. Быстрота исчезновения различия в ценности шенноновской и хартлиевской информации

Теорема 11.1, приведенная выше, устанавливает самый факт асимптотической равноценности шенноновского и хартлиевского количеств информации. Представляет интерес вопрос о том, как быстро исчезает различие между ценностями указанных количеств. Напомним, что в гл. 7 вслед за теоремами 7.1, 7.2 устанавливающими факт асимптотического исчезновения вероятности ошибки декодирования, были приведены теоремы, в которых исследовалась быстрота исчезновения этой вероятности.

Не представляет сомнений то, что в отношении быстроты исчезновения различия (аналогично проблеме асимптотической безошибочности) может быть получено большое количество результатов различной степени сложности и силы. При этом могут быть применены различные методы. Мы приведем здесь лишь некоторые сравнительно несложные результаты по данной проблеме. Подсчитаем первые члены асимптотического разложения разности по степеням малого параметра При этом будет выяснено, что важная для доказательства теоремы 11.1 оговорка об ограниченности (11.2.14) функции штрафов не является существенной для асимптотической равноценности информаций, а обусловлена лишь принятым методом доказательства.

Обратимся к формуле (11.2.13), которую, вводя обозначение запишем в виде

Здесь и в дальнейшем мы отождествляем , поскольку теперь нет надобности проводить различие между ними.

Займемся асимптотическим подсчетом выражения, стоящего в правой части последнего неравенства.

1. Учитывая (11.2.8), имеем

где

Здесь удобно положить

Входящую в эти формулы функцию распределения

зафиксировано, Р соответствует см. (11.2.3)] оценим при помощи теоремы 4.8, точнее, того ее обобщения, о котором говорится немедленно после ее доказательства. Для простоты будем предполагать, что отрезок упомянутый в теореме 4.8, достаточно велик, так что уравнение (4.4.17) (11.3.7) имеет корень при любых значениях Тогда

при а также

где корень уравнения

а

Различные выражения (11.3.5), (11.3.6) соответствуют различным знакам корня

В силу (11.3.5) — (11.3.7) первый интеграл (11.3.3) преобразуется к виду

где интегрирование ведется по нижний предел интегрирования определяется формулой

Для большей наглядности (может быть, несколько условно) обозначаем и пишем вместо Чтобы оценить указанный интеграл, рассмотрим точку оси определяемую уравнением

где Их и произведем разложение функций, входящих в (11.3.9) в ряд Тейлора относительно этой точки:

Подставляя эти разложения в интеграл (11.3.9), получаем

где с нужной нам точностью

Выбираем отрицательный корень

уравнения (11.3.10) (если он имеется), так что Делая замену переменной епах приводим (11.3.11) к виду

из которой видна относительная величина тех или иных членов при больших Разлагая экспоненту

в ряд Тейлора по имеем

Подставляя (11.3.15) в (11.3.14), удержим лишь члены порядка и получим

Если придерживаться меньшей точности, то будет иметь место более простая формула

или, если учесть (11.3.12),

Здесь мы пренебрегли членом — который убывает с ростом несравненно быстрее, чем а также интегральными выражениями

которые весьма быстро убывают с ростом так как экспоненциально стремятся к и 0 соответственно (напомним, что Легко оценить величину указанных интегралов, например, опустив сравнительно мало влияющие сомножители в первом интеграле и во втором. Однако мы не будем на этом далее задерживаться.

Интеграл, входящий в (11.3.16), равен постоянной Эйлера В самом деле, представляя его как предел

и интегрируя по частям:

этот интеграл можно привести к виду

(см. Янке и Эмде [1], с. 97). Поэтому найденный результат (11.3.16) принимает вид

Вместо корня уравнения (11.3.10) удобно рассматривать корень более простого уравнения

Из сопоставления этих уравнений видно, что

и условие существования отрицательного корня (11.3.13) эквивалентно (при больших условию существования корня

Дифференцированием легко убедиться, что функция имеет минимальное значение в точке которое равно нулю. Поэтому уравнение (11.3.18) хотя бы при достаточно малых имеет два корня: положительный и отрицательный, так что отрицательный корень выбрать можно.

Согласно (11.3.19) формула (11.3.17) приводится к виду

2. Перейдем к оценке интеграла (11.3.4). Обозначим через граничную точку, определяемую из уравнения

При больших величина является малой Преобразуя (11.3.22) к виду

находим приближенное решение этого уравнения:

что подтверждает указанную малость В области по которой ведется интегрирование в (11.3.4), производная

положительная при в чем легко убедиться, учитывая, что

Поэтому интеграл (11.3.4) можно мажорировать следующим образом:

где отрицательная добавка, которую отбрасываем.

Начиная с некоторых значение заведомо превосходит среднее значение, так что в интеграле (11.3.23) можно воспользоваться оценкой (11.3.6). Из этой формулы нетрудно получить

где

а точки заменяют другие величины, вид которых для нас несуществен. Подставляя (11.3.24) в (11.3.23), получаем

Используя (11.3.6), выражение в правой части можно записать в таком виде:

Здесь образ по Лежандру

точки заменяют менее существенные члены.

Если бы не зависело от то согласно (11.3.26) оценка интеграла исчезала бы с ростом в основном экспоненциально. Но в силу (11.3.22а), вообще говоря, растете ростом поэтому растет и (функция как легко проверить, имеет при возрастающий характер). Это еще более увеличивает быстроту исчезновения выражения в правой части (11.3.26). Итак, интеграл исчезает с ростом несравненно быстрее, чем члены асимптотического разложения (11.3.21). Поэтому член в (11.3.2) можно не принимать во внимание.

3. Оценим теперь второй интеграл в (11.3.3). Выбрав некоторое положительное число представим его в виде суммы двух членов

Очевидно

Для оценки интеграла используем (11.3.6) и формулу типа

Здесь по аналогии с Но

где обозначено

Для первого члена в (11.3.29) имеем неравенство

Вычислим второй член в (11.3.29). Из формулы

(Рыжик и Градштейн [1] формулы (3.711.2) и аналитическим продолжением получаем

причем

(Е. Янке и Ф. Эмде [1], с. 98). Следовательно, основная зависимость второго члена в (11.3.29) от М определяется экспоненциальным множителем

Итак, все три члена (11.3.28), (11.3.30) и составляющие 52, убывают с ростом весьма быстро. Так же, как и они не оказывают влияния на асимптотическое разложение типа (11.3.21) по степеням малого параметра (в комбинации с логарифмами В формуле (11.3.2) поэтому нужно учитывать лишь один член так что в силу (11.3.21) имеем

Вследствие этого неравенство (11.3.1) принимает вид

4. В соответствии с последней формулой проведем усреднение по Это усреднение облегчается тем, что функция (11.3.8) представляет собой сумму большого числа одинаково распределенных случайных слагаемых их среднее арифметическое:

В силу закона больших чисел оно сходится к математическому ожиданию

которое просто связано с потенциалом (11.1.18):

При каждом фиксированном согласно указанному закону имеет место скодимость по вероятности:

а также для производных

если последние существуют.

Вследствие сходимости (11.3.36), (11.3.37) корень уравнения (11.3.18) будет сходиться по вероятности к корню уравнения

Последнее уравнение совпадает с (11.1.21). Поэтому так что

Согласно (9.4.37) имеем

причем для нормальной ветви параметр положителен (см. § 9.3). Отсюда получаем неравенство , которое согласуется с условием (11.3.20).

Вследствие сходимости (11.3.37), (11.3.39) и равенств (11.3.35), (11.1.20) первый член в (11.3.32) стремится к Это доказывает (если учесть еще исчезновение прочих членов) сходимость

о которой уже шла речь в теореме (11.1).

Чтобы исследовать быстроту сходимости, рассмотрим отклонение случайных величин, входящих в усредняемое выражение в (11.3.32) от их предельных неслучайных значений. Введем случайное отклонение Оно, как и случайное отклонение в силу (11.3.33) имеет нулевое математическое ожидание и дисперсию порядка

и аналогично для

Чтобы при усреднении величины учесть вклад случайных отклонений, имеющих порядок представим эту величину как разложение по с включением квадратичных членов.

Обозначая и разлагая правую часть уравнений (11.3.18) по с учетом квадратичных членов, будем иметь

Подставляя сюда

и отбрасывая члены более высокого порядка, чем квадратичные получаем

Члены нулевого порядка здесь сокращаются в силу (11.3.38) где и мы имеем

откуда

Подставляя этот результат в разложение

получаем после сокращений

Здесь учтено, что

Прочие члены, входящие в подынтегральное выражение (11.3.32), требуют меньшей точности вычислений. Для них

достаточно просто подставить, вместо случайных значений, предельные значения.

В итоге будем иметь

Теми же самыми методами, производя расчеты с большей степенью точности, можно найти и более высокие члены этого асимптотического разложения. При этом можно получить подтверждение тех пунктов вышеизложенного вывода, которые представляются недостаточно обоснованными.

В приведенном рассмотрении предполагалось, что отрезок определения и дифференцируемости потенциала упоминаемый в теореме 4.8 достаточно велик, между тем существенной в действительности является лишь некоторая окрестность точки Прочие участки прямой оказывают влияние лишь на экспоненциальные члены типа (11.3.26), (11.3.28), (11.3.30) и не сказываются на асимптотическом разложении (11.3.40). Правда, аномалии в поведении функции на этих прочих участках осложняют доказательство.

Для справедливости формулы (11.3.40) не является необходимым выполнение условия (11.2.14) ограниченности функции штрафов. Однако ее вывод несколько упростится, если принять это условие. Тогда не потребуется детальная оценка интегралов и интеграла по области Н. Вместо этого можно будет ограничиться доказательством достаточно быстрого (экспоненциального) исчезновения вероятности соответствующих областей интегрирования. Значение постоянной К при этом будет несущественным, так как не войдет в окончательный результат.

Как видно из приведенного вывода, члены асимптотического разложения (11.3.40) являются точными для выбранного случайного кодирования. Могут быть найдены более высокие члены, но уже выписанные члены не могут быть улучшены, если не отказаться от принятого способа кодирования. Представляет интерес вопрос, на- сколько приведенная оценка (11.3.40) близка к действительному значению разности ( и насколько она может быть улучшена, если использовать более совершенные приемы кодирования.