2.2. Минимальная вероятность ошибки и декодер максимального правдоподобия

Подробному описанию кодера и декодера отведена значительная часть книги. Принципы построения и оптимальное проектирование декодеров проще, чем кодеров, но их схемная реализация,

как правило, сложнее. Назначение декодера заключается в том, чтобы осуществить отображение вектора у в решение о переданном сообщении. Подобное решение должно основываться на некотором критерии качества. Наиболее, удобным критерием является минимум вероятности оценки допустим, что если вектор у принял некоторое конкретное значение (вектор из действительных чисел), мы выбираем решение Вероятность ошибки такого решения, обозначенная через задается соотношением

Поскольку при отображении каждого фиксированного у в решение минимизируется вероятность ошибки, из предыдущего вытекает, что оптимальное решающее правило задается соотношениями:

Если удовлетворяет неравенству (2.2.2.), но при этом по крайней мере для одного из выполняется равенство, то в качестве решения можно выбрать любое из таких получив ту же самую вероятность ошибки.

Общие условия (2.2.1), справедливые для любого канала (с памятью или без), выражаются через априорные вероятности сообщений

и условные вероящости у при каждом (их обычно называют функциями правдоподобия)

Последнее соотношение вытекает из того, что отображение задаваемое операцией кодирования, детерминировано и взаимно однозначно. Указанные функции правдоподобия фактически задают канал (см. рис. 2.4) и их часто называют переходными вероятностями канала. Применяя к соотношениям (2.2.2) правило Байеса, используя (2.2.3) и (2.2.4) и игнорируя на время случаи равенства, получим, что минимизирующее вероятность ошибки оптимальное решение задается правилом

Знаменатель безусловная вероятность (плотность) у; он не зависит от и может быть опущен. Кроме того, обычно суммирование удобнее умножения, поэтому в силу неравенства справедливого при можно записать в следующем виде:

Для определенных в (2.1.6) каналов без памяти это решающее правило еще более упрощается

Другая полезная интерпретация приведенного решающего правила (2.2.6) или (2.2.7) согласуется с нашей первоначальной точкой зрения на декодер как на устройство, задающее определенное отображение. Оно состоит в разбиении -мерного пространства всех векторов наблюдений у на области причем

Из этого определения ясно, что области должны быть непересекающимися, т. е.

Поэтому решающее правило можно рассматривать как отображение у в такое, что

Из этого определения ясно также, что области покрывают в совокупности все пространство векторов наблюдений у. Условимся считать, что все неопределенности разрешаются случайным образом. Иначе говоря, на границе между состоящей из всех таких у, что неравенство (2.2.2) превращается в равенство, решение определяется предварительным бросанием монеты. Исходы таких бросаний не меняют результирующей вероятности ошибки, поскольку для принадлежащих границе у в соотношении (2.2.2) выполняется равенство. Как следствие, получаем, что объединение областей покрывает все -мерное пространство наблюдений т. е.

Сказанное лучше всего иллюстрируется опять-таки АБГШ каналом, определяемым соотношением (2.1.15). Поскольку память у этого канала отсутствует, из соотношений (2.1.16), (2.1.3) и соглашения о границах получим 1

Заметим также, что из (2.1.1) и (2.1.6) вытекает равенство

тогда как

Поэтому из (2.2.12) следует, что решающие области для АБГШ канала представляют собой области действительного -мерного пространства, ограниченные линейными границами -мерными гиперплоскостями]. На рис. 2.5а, б приведены два примера решающих областей для при В первом — энергии и априорные вероятности различны, во втором — одинаковы, т. е. при всех В задачах 2.1 и 2.2 приведены решающие области для более сложных наборов сигналов. Отметим, кроме того, что из приведенного результата и из (2.2.12) следует, что для АБГШ канала решающее правило, а поэтому и декодер, реализуется схемой, показанной на рис. 2.6. Имеется перемножителей, из которых каждый умножает N наблюдений на N

значений компонент сигнала; результирующие произведения последовательно складываются, формируя скалярные произведения. В тех случаях, когда априорные вероятности и энергии равны, дополнительные сумматоры можно опустить. Примеры декодеров для других каналов даны в § 2.8 и 2.12.

Рис. 2.5. Набор сигналов и решающие области при

Рис. 2.6 Реализация декодера для АБГШ канала

В большинстве интересных случаев априорные вероятности сообщений равны между собой, т. е.

Как уже указывалось в гл. 1, таким будет случай, когда выход источника информации эффективно закодирован последовательностями равновероятных символов. Тогда можно опустить множители в соотношениях (2.2.5) -(2.2.8) и (2.2.12). Про решающее правило и соответствующий декодер говорят, что они построены по максимуму правдоподобия. Декодер

максимального правдоподобия зависит только от канала и часто устойчив в том смысле, что приводит к одинаковой или почти одинаковой вероятности ошибки для каждого сообщения независимо от истинных априорных вероятностей сообщений. Это важно с практической точки зрения, поскольку у различных пользователей априорные вероятности сообщений могут быть различными. Ниже мы всюду предполагаем сообщения равновероятными, поэтому декодер максимального правдоподобия будет оптимальным.

Случаи неравных априорных вероятностей рассмотрены в задачах. В каналах без памяти логарифм функции правдоподобия (2.2.4) обычно называют метрикой. Таким образом, декодер по максимуму правдоподобия вычисляет метрики для каждого возможного сигнального вектора, сравнивает их и принимает решение в пользу максимальной.