Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике 3.13.4. Совместное рассмотрение экспонент случайного кодирования и сферической упаковки.Наша цель заключается в том, чтобы найти общую форму, в которой могут быть представлены обе экспоненты — случайного кодирования и сферической упаковки. Затем, исходя из этого общего представления, можно будет найти условия, при которых экспоненты совпадают. Будем отправляться от определений (3.13.38) и (3.13.39). Напомним, что в этих определениях — некоторая вспомогательная согласованная с каналом матрица переходных вероятностей и Введем в рассмотрение еще одну функцию
Заметим, что определения функций Замечание. Пусть Наша ближайшая задача состоит в установлении связи между функциями Лемма 3.13.4. Пусть задающие канал,
Если Доказательство. Для доказательства леммы достаточно рассматривать только такие значения Тогда Пусть зафиксированы
Так как для функции
получим
где
Из условий выбора
Заметим, что оба неравенства в последнем соотношении переходят в точные равенства, если Лемма 3.13.5. Функция
где
причем максимум отыскивается по всем таким распределениям вероятностей Доказательство. Положим
Далее будем предполагать, что
Обозначим через
где с — неопределенный множитель Лагранжа и знак неравенства может иметь место только для тех
Легко видеть, что, как и в теореме 3.13.1, эти условия являются и достаточными. Обозначим теперь через
Далее из (3.12.24), (3.12.25) и
Поэтому значение параметра
Введем следующие обозначения. Пусть
Учитывая, что распределение
Пусть параметр
Оба неравенства в (3.13.56) превращаются в равенства при Положим
Имеет место следующее утверждение. Теорема 3.13.3. Для произвольного дискретного канала без памяти
для любого распределения вероятностей
Доказ ательство. Пусть фиксирована скорость
Кроме того,
где последнее равенство обусловлено выбором матрицы
Учитывая, что при фиксированных
Теорема доказана. Таким образом, из теоремы 3.13,3 следует, что экспоненты случайного кодирования Задачи, упражнения и дополнения(см. скан) (см. скан) (см. скан) (см. скан) (см. скан) (см. скан) (см. скан) (см. скан) (см. скан) (см. скан) (см. скан) (см. скан) КРАТКИЙ ИСТОРИЧЕСКИЙ КОММЕНТАРИЙ И ЛИТЕРАТУРАЗадача кодирования в канале с шумом впервые была рассмотрена К. Шенноном [13], Первое доказательство прямой теоремы кодирования для дискретных каналов без памяти было получено А. Файистейном [9]. Позднее эта же теорема была доказана К. Шенноном методом случайного кодирования [14]. Большое число работ посвящено теоремам кодирования для различных моделей дискретных каналов. К их числу в первую очередь относятся работы К. Шеннона [14], А. Я. Хинчина [12], Р. Л. Добрушина [7], А. Файнстейна [10] и Дж. Вольфовица [4]. Изложенный в § 3.5 итеративный алгоритм вычисления пропускной способности был построен независимо С. Аримото [1] и Р. Блэйхутом 13]. Экспоненциально точные в области высоких скоростей границы для вероятности ошибки декодирования в ДСК были впервые получены П. Элайесом [16]. Р. Л. Добрушин [8] получил аналогичные границы для произвольных симметричных каналов без памяти. Р. Фано [11] построил экспоненциально точные в области высоких скоростей границы для вероятности ошибки декодирования в произвольном дискретном канале без памяти. Позднее Р. Галлагер [5] предложил более простой, чем способ Фано, метод построения верхних границ. Параграф 3.12 основывается на методе Галлагера. В той же работе Галлагер улучшил верхнюю границу в области малых скоростей. К. Шеннон, Р, Галлагер и Е. Берлекэмп [15] построили нижнюю границу, более точную при малых скоростях, чем граница Фано. Метод построения границы сферической упаковки, использованный в п. 3.13.2, принадлежит Е. А. Арутюняну [2], Наиболее подробно вопросы кодирования в дискретных каналах рассмотрены в книгах Вольфовица [4] и Галлагера [6]. (см. скан) (см. скан)
|
1 |
Оглавление
|