2.3. Вероятность ошибки и простая верхняя граница

Установив, что оптимальный декодер минимизирует вероятность ошибки при любом фиксированном наборе наблюдений, мы хотим теперь понять, как зависят его характеристики от набора сигналов. Допустим, что передано сообщение (сигнальный вектор и что принят вектор у наблюдений; тогда ошибка произойдет, если у не принадлежит (это событие мы обозначаем через или Поскольку у предатавляет собой случайный вектор, то вероятность ошибки при условии, что передан задается равенством

Мы пользуемся символом 2 для обозначения суммирования или интегрирования по пространству наблюдений. Поэтому в непрерывных каналах (таких, как АБГШ канал) с -мерными векторами наблюдений символ 2 означает -мерное интегрирование, плотность вероятностей. В дискретных каналах, где как так и у представляют собой векторы с компонентами из конечного алфавита, символом обозначается -кратное суммирование, а дискретное распределение.

Полная вероятность ошибки определяется как средняя по сообщениям:

Несмотря на то, что подсчет в соотношении (2.3.2) в принципе прост, численными методами он почти всегда

неосуществим, если не считать ряда специальных случаев (см. задачи и 2.5). С другой стороны, для имеются простые верхние границы, которые в некоторых случаях дают весьма точное приближение. Когда этого не происходит, применяется более сложная граница, которая достаточно точна почти во всех случаях, встречающихся на практике (см. след, параграф).

Простая верхняя оценка для получается, если исследовать дополнения к решающим областям. По определению (2.2.8) — и при для всех можно записать следующим образом

где

Заметим, что каждая область совпадает с решающими областями для когда имеется всего два сигнала (сообщения) Пример для набора сигналов, представленного на рис. 2.56, приведен на рис. 2.7. Подставив (2.3.3) в (2.3.1) и используя аксиомы вероятности, найдем

где через обозначена попарная вероятность ошибки, соответствующая случаю, когда передан и единственной

Рис. 2.7. Области для набора сигналов, приведенных на рис. 2.3б

альтернативой служит Неравенство (2.3.4) превращается в равенство всякий раз, когда области не пересекаются; это справедливо только в тривиальном случае По очевидным соображениям граница, заданная правой частью неравенства (2.3.4), называется аддитивной границей.

Для АБГШ канала можно точно вычислить слагаемые аддитивной границы, воспользовавшись соотношением (2.2.12) при Получаем

где

Если передан то имеем гауссовских случайных величин

со средними и дисперсиями Кроме того, независимы при что было показано в соотношении (2.1.14). Поскольку представляют собой линейные комбинации независимых гауссовских случайных величин, то, следовательно, они сами — гауссовские величины. Воспользовавшись (2.1.3) и (2.3.6), найдем их средние

и дисперсии

Таким образом,

где

Получаем, наконец, простое выражение

где через обозначена гауссовская функция распределения

Возвращаясь к границе для вероятности ошибки (2.3.4), построим простую, но общую границу для Из (2.3.4) и (2.3.3) непосредственно следует, что

где

а через обозначено все пространство наблюдений. Можно за писать выражение (2.3.10) по-другому:

где

Функцию легко оценить:

Верхняя граница — следствие (2.3.12), а нижняя — тривиальна. Поскольку сомножители слагаемых в (2.3.13) всегда неотрицательны, можно заменить ее оценкой (2.3.14), что приведет к неравенству

Соотношение (2.3.15) называют границей Бхаттачария, а логарифм правой части (2.3.15), взятый со знаком минус — расстоянием Бхаттачария. Эта граница представляет собой частный случай границы Чернова, которую мы получим в следующей главе (см. также задачу 2.10).

Комбинируя аддитивную границу (2.3.4) с общей границей Бхаттачария (2.3.15), получим, наконец, границу для вероятности ошибки -го сообщения

Изменение порядка суммирования всегда законно, поскольку сумма по берется по конечному множеству. В следующем параграфе мы выведем некоторую более сложную границу и покажем, что соотношение (2.3.16) представляет собой ее частный случай.

Чтобы выяснить степень точности границы Бхаттачария, рассмотрим еще раз АБГШ канал и подставим функцию правдоподобия (2.1.15) в соотношение (2.3.15). Ввиду того, что представляет собой пространство действительных векторов, получим

Сравнив правую часть соотношения (2.3.17) с точным выражением (2.3.10), видим, что заменена на Но, как известно (см. работу Возенкрафта и Джекобса [1965]), справедливо

Следовательно, при больших значениях аргумента выражение границы (2.3.17) довольно точно. Заметим также, что логарифм правой части в соотношении (2.3.17), взятый со знаком минус, пропорционален квадрату расстояния между сигналами. Чтобы продвинуться еще на один шаг и оценить точность аддитивной границы, рассмотрим специальный случай -мерных сигналов равной энергии, каждый из которых имеет единственную ненулевую компоненту:

(Это частный случай набора ортогональных сигналов, рассматриваемых подробнее в § 2.5.) Тогда (2.3.17) переходит в неравенство

и, следовательно, из соотношения (2.3.16) получаем оценку аддитивной границы:

Поэтому приведенная граница бесполезна, когда В следующем разделе мы построим границу, полезную в гораздо более широкой области.