3.3. Верхняя оценка вероятности ошибки декодирования

Пусть переданное кодовое слово, принятая последовательность. Пусть остальные

(кликните для просмотра скана)

кодовые слова, где Ошибка при декодировании по методу максимума правдоподобия происходит, если для некоторого Ошибка декодирования может также произойти при Оценивая вероятность ошибки декодирования сверху, мы можем считать, что в таком случае всегда происходят ошибки. Основываясь на допущении о независимости использований канала, можно записать условие для того, чтобы имела место ошибка

для некоторого при .

Вероятность ошибки декодирования можно, таким образом, оценить сверху вероятностью выполнения неравенства (3.2). С неравенством (3.2) легче иметь дело, если мы возьмем логарифмы от обеих его частей; при этом получается следующее неравенство для сумм случайных величин:

Кроме того, по причинам, обсуждаемым ниже, мы вычтем из обеих частей неравенства (3.2) некоторую произвольную функцию выхода и умножим обе части на —1, получая при этом следующее условие для того, чтобы имела место ошибка декодирования:

для некоторых Наложим следующее ограничение на положительна, если положительна или и

Определим теперь расстояние между входом и выходом

Определим, кроме того, расстояние между

Из соотношений (3.4), (3.6) и (3.7) нетрудно видеть, что ошибка декодирования происходит только тогда, когда для некоторого отличного от Точнее, вероятность ошибки декодирования оценивается следующим образом:

событие, заключающееся в том, что

Наиболее очевидный метод упрощения неравенства (3.8) заключается в оценке сверху вероятности объединения событий суммой вероятностей событий. Это, однако, не дает хорошей оценки, поскольку в том случае, когда расстояние очень велико, скажем больше некоторой соответствующим образом выбранной константы весьма вероятно, что оно больше большинства величин поэтому ошибка декодирования учитывается в этой оценке много раз. Чтобы обойти эту трудность, мы будем отдельно оценивать события, для которых Параметр произволен, и оптимизация по нему будет проведена позже. Разобьем неравенство (3.8) следующим образом:

где

событие, заключающееся в том, что

событие, заключающееся в том, что

Теперь мы можем отдельно оценить

Заметим, что неравенство (3.9) есть точное выражение для если не считать того, что мы приняли, что неопределенность (т. е. случай, когда всегда вызывает ошибку. Таким образом, произвольность выбора не оказывает влияния на неравенство (3.9), поскольку от этого выбора не зависит, какое слово декодируется, когда передано слово Однако выбор влияет на неравенства (3.10) и (3.11), поскольку эта функция определяет множество выходных последовательностей для которых

Заметим, наконец, что определены в равенстве (3.7) как суммы случайных величии, поэтому задача оценки сведена с помощью неравенств (3.10) и (3.11) к задаче оценки хвостов распределений сумм случайных величин. Это лучше всего делается с помощью оценок по методу Чернова, краткое изложение которого можно найти в приложении В. Более подробно они даны в работе Фано