2.7. Границы качества и приближенные выражения

До сих пор мы имели дело преимущественно с задачами, в которых можно синтезировать структуру оптимального приемника и получить сравнительно простые выражения для рабочей характеристики приемника или для вероятности ошибки.

Во многих представляющих для нас интерес случаях оптимальный критерий может быть установлен, однако произвести точное вычисление качества невозможно. В этих случаях приходится прибегать к граничным или приближенным выражениям для вероятности ошибки. В данном параграфе будут выведены некоторые простые граничные и приближенные выражения, которые используются во многих задачах, представляющих практический интерес. Основные результаты, принадлежащие Чернову [28], были развиты первоначально Шенноном [23]. Они получили дальнейшее развитие в работах Фэно [24], Шеннона, Галлагера и Берлекэмпа [25], а также Галлагера [26] и были применены к решению интересующих нас задач Джекобсом [27]. Наш подход основывается на двух последних работах. Поскольку последняя часть изложения по своему характеру является эвристической, то с более тщательными выводами интересующийся читатель может познакомиться в указанных источниках. Что касается использования полученных результатов в последующих параграфах, то мы не будем применять их вплоть до гл. 3 второго тома (указанные результаты также понадобятся нам при решении задач в гл. 4).

Интересующая нас проблема является общей бинарной задачей испытания гипотез, намеченной в § 2.2. Из результатов этого параграфа известно, что она сводится к испытанию по критерию отношения правдоподобия. С этого момента мы и начнем наше обсуждение.

Критерий отношения правдоподобия имеет вид

Величина есть случайная величина, плотность вероятности которой зависит от того, какая из гипотез является истинной. На рис. 2.36 показаны типичные распределения

Если обе плотности вероятности известны, то и определяются формулами

Трудность заключается в том, что найти бывает весьма сложно и даже если ее и можно отыскать, то выражения оказываются очень громоздкими. Типичным с точки зрения этой сложности может служить случай на стр. 117, где имелось гауссовых величин с одинаковыми дисперсиями, образующих сигнал. Для анализа данной системы ошибки можно оценивать численными методами. С другой стороны, если нам требуется синтезировать систему, то неэффективно может быть, и невозможно) перебирать все системы и оценивать каждую из них численными методами. Поэтому нам следует найти несколько более простых приближенных выражений для вероятностей ошибок.

В этом параграфе мы выведем ряд простых выражений, которые будем использовать в последующем. Сначала сосредоточим внимание на случаях, когда является суммой независимых случайных величин. Из этого следует, что может быть полезной характеристическая функция, так как она будет произведением индивидуальных характеристических функций Точно так же производящая функция моментов будет произведением отдельных производящих функций моментов. Следовательно, приближенные выражения, основанные на одной из этих функций, можно сравнительно просто оценивать. В первой части нашего обсуждения устанавливаются границы вероятностей ошибок в терминах производящей функции моментов

Рис. 2.36. Типичные плотности.

Во второй части рассматривается случай, когда является суммой большого числа независимых случайных величин. Путем использования центральной предельной теоремы мы улучшаем результаты, полученные в первой части.

Начнем с вывода простой верхней границы вероятности ложной тревоги выражаемой через производящую функцию моментов.

Производящая функция моментов по гипотезе имеет вид

где есть действительная переменная (область изменения соответствует тем значениям, для которых интеграл существует). Мы вскоре увидим, что более целесообразно записать

так что

Можно также выразить при помощи Так как I есть просто функция можно записать в виде

Тогда

Используя (440), получим

или

Функция играет в дальнейшем центральную роль. Теперь удобно переписать выражение для ошибок через новую случайную величину, среднее значение которой лежит в окрестности порога. Это объясняется тем, что во второй части нашего обсуждения мы собираемся использовать центральную предельную теорему. Она наиболее эффективна вблизи среднего значения рассматриваемой случайной величины.

Рассмотрим простую плотность вероятности, показанную на рис. 2.37, а. Чтобы получить новое семейство распределений, изображенное на рис. 2.37, б, в, г, умножим на для различных значений (и нормируем для получения единичной площади). Видно, что для среднее значение сдвигается вправо. Будем на некоторое время считать параметром. При увеличении распределение становится все более неравномерным.

Обозначая эту новую переменную через имеем

Заметим, что величина определена посредством ее распределения, которое нас интересует. Уравнение (450) является общим определением. Для распределения, показанного на рис. 2.37, пределами служат . Найдем теперь среднее и дисперсию величины

Рис. 2.37. Модифицированные плотности вероятности.

Сравнивая (451) и (445), видим, что

Аналогично находим

(Отметим, что из (453) вытекает, что функция является выпуклой.)

Перепишем теперь выражение для через переменную

Теперь можно найти простую верхнюю границу Для значений

Таким образом,

Очевидно, данный интеграл меньше единицы. Следовательно.

Для отыскания наилучшей границы минимизируем правую часть уравнения (457) относительно Дифференцируя экспоненциальную функцию и приравнивая результат дифференцирования нулю, получим

Так как неотрицательно, решение будет существовать, если

Поскольку

то из левого неравенства вытекает, что порог должен быть правее среднего значения I по гипотезе . Полагая, что (459) справедливо, получаем требуемый результат:

где удовлетворяет уравнению (458). (Мы предположили, что для требуемого существует

Уравнение (461) обычно называют границей Чернова [28]. Заметим, что выбирается так, чтобы среднее значение величины было равно порогу.

Следующий наш шаг — найти границу вероятности промаха:

которую мы хотим выразить через преобразованную величину

Применяя доказательства, идентичные использованным в (88) — (94), видим, что

Подставляя (463) в правую часть (450), имеем

Подстановкой в (462) получим

Для

Следовательно,

И на этот раз граница минимизируется при

если решение существует для Замечая, что

приходим к выводу, что порог должен быть левее среднего значения I по гипотезе

Комбинируя (461) и (467), имеем

и

есть порог, который лежит между средними значениями по двум гипотезам. Ограничение пределами [0,1] не является чрезмерно жестким, так как если порог не лежит между средними значениями то вероятность ошибки будет большой по одной гипотезе (больше 1/2, если медиана совпадает со средним). При моделировании некоторой физической системы это обычно соответствует неприемлемой достоверности и вызывает необходимость изменения системы.

Рис. 2.38. Показатели экспоненциальных функций, определяющих границы вероятности пропуска и ложной тревоги.

Как указывается в [25], экспоненты (470) имеют простую графическую интерпретацию. Типичный вид показан на рис. 2.38. Касательная проведена в точке, где Эта касательная пересекает вертикальные линии Ордината точки пересечения при равна показателю в выражении для границы а ордината точки пересечения при равна показателю в выражении для границы

Для частного случая, когда обе гипотезы равновероятны и стоимости ошибок одинаковы, мы знаем, что Поэтому для минимизации границы выбираем значение где

Вероятность ошибки равна

Подставляя (456) и (467) в (471) и обозначая значение при котором через получим

или

До сих пор мы рассматривали произвольные испытания двух гипотез. Границы (470) и (473) всегда справедливы, если существует Во многих случаях, представляющих интерес, состоит из суммы большого числа независимых случайных величин, и мы можем получить простые приближенные выражения для и которые обеспечивают гораздо более точную оценку их действительного значения, чем приведенные выше границы. Экспонента в этих выражениях будет такой же; но коэффициент часто будет значительно меньше единицы.

Начнем вывод этого выражения с формулы (454) для Основываясь на нашем результате (458), полученном при выводе границы, выбираем так, чтобы

Тогда (454) приобретает вид

Это можно записать иначе:

Коэффициент за знаком интеграла есть просто граница (461). Для оценки этого интеграла используем теперь доказательство центральной предельной теоремы. Сначала зададимся нормированной величиной

Подставляя (476) в (475), имеем

Во многих случаях распределение величины таково, что у стремится к гауссовой случайной величине при N (числе компонентов ), стремящемся к бесконечности. Простой случай, когда это справедливо, соответствует условию, если независимые одинаково распределенные случайные величины с конечными средними и дисперсиями.

Рис. 2.39. Поведение экспоненциальных функций, определяющих границы.

В таких случаях у стремится к гауссовой случайной величине с нулевым средним и единичной дисперсией и интеграл (477) может быть оценен путем подстановки предельной плотности

Тогда

Приближенность вытекает из того, что у только приближенно гауссова при конечных Для значений функцию можно приближенно заменить верхней границей (71). Используя эту аппроксимацию, имеем

Легко убедиться, что приближенное выражение (480) можно получить также, если положить

Из рис. 2.39 видно, что это справедливо тогда, когда экспоненциальная функция убывает до малой величины при

Точно таким же образом получаем

При сводится к

Заметим, что экспоненты в (480) и (483) тождественны экспонентам, получаемым путем использования границы Чернова. Доказательство центральной предельной теоремы дало нам коэффициент, который будет иметь большое значение во многих интересующих нас приложениях.

Для случая, когда критерием является а гипотезы равновероятны, имеем

где определяется из условия, сформулированного перед (472) (т. е. ). Когда соотношение (484) сводится к

Рассмотрим теперь несколько примеров, иллюстрирующих приложение изложенных выше идей. В качестве первого разберем случай, когда точная достоверность известна. Чтобы проиллюстрировать соответствующую технику, произведем на этом примере разбор граничных и приближенных выражений.

Пример 1. Рассмотрим простую гауссову задачу, впервые упомянутую на стр. 39:

и

Тогда, используя (449), получим

Ввиду того что все интегралы идентичны,

Рис. 2.40. для гауссовых величин с неодинаковыми средними.

Выполнив интегрирование, будем иметь

где было определено в формулировке, приведенной после (64). Кривая показана на рис. 2.40:

Используя граничные выражения (470), получим

Поскольку есть сумма гауссовых случайных величин, выражения (479) и (482) являются точными. Вычисляя получаем

Подставляя (492) в (479) и (482), имеем

и

Эти выражения тождественны (64) и (68) (достаточно положить

Еще более простой случай имеет место, когда критерием является полная вероятность ошибки. Тогда выбираем так, чтобы Из рис. 2.40 можно видеть, что Используя (484) и (485), получаем

Это приближение является очень хорошим при

Данный пример является частным случаем бинарной симметричной задачи испытания гипотез, в которой симметрично относительно Когда это условие справедливо и критерием служит минимум полной вероятности ошибки то становится существенной величиной:

Взятая с противоположным знаком эта величина часто называется расстоянием Баттачари (см., например, [29]). Отметим, что эта величина имеет смысл только для

В виде примера рассмотрим более интересный случай.

Пример 2. Этот пример является случаем общей гауссовой задачи, описанной на стр. 117:

Подстановка (497) в (499) дает

или

Случай, который будет представлять интерес в последующем, соответствует условиям

Подстановкой (500) в (499) получим

Эта функция показана на рис. 2.41.

и

Путем подстановки (501), (502) и (503) в (479) и (482) можно получить приближенную рабочую характеристику приемника. Для оценки точности приближения построенную характеристику можно сравнить с точной рабочей характеристикой, изображенной на рис. 2.35, а.

Рис. 2.41. для гауссовых величин с неравными дисперсиями.

Рис. 2.42. Приближенные рабочие характеристики приемника.

На рис. 2.42 такое сравнение произведено для Прямыми линиями соединены точки равных порогов. Видно, что приближение является достаточно точным. При больших точные и приближенные рабочие характеристики можно считать идентичными для всех практических целей.

Пример 3. В этом примере мы рассмотрим сначала упрощенный вариант симметричной ситуации проверки гипотез, описанной в случае (стр. 122) при

и

где

Тогда

Функция представлена графически на рис. 2.43, а. Минимум функции имеет место при Это и есть интересующая нас точка, где минимальная вероятность является критерием.

Рис. 2.43. а — для бинарной симметричной задачи на испытание гипотез; б - граница вероятности ошибки

Таким образом, из (473) границей вероятности ошибки будет

Граничное выражение (508) представлено графически на рис. 2.43, б.

Пример Интересным развитием примера 3 является задача, когда

Величины независимы, и их дисперсии попарно равны. Это специальный вариант случая 2Б (стр. 123) Позднее будет установлено, что он соответствует физической ситуации, представляющей значительный интерес.

Ввиду независимости величин является просто суммой для отдельных пар, ко каждая пара соответствует задаче в примере 3 Поэтому

Тогда

и

Для критерия минимальной вероятности ошибки, как это очевидно из (511), Используя (485), будем иметь

или

Для частного случая, когда дисперсии одинаковы, т. е.

(514) сводится к

Можно пойти другим путем и использовать приближенное выражение (484). В данном случае оно приобретает вид

На рис. 2.44 приближенное (517) и точное (434) выражения для вероятности ошибки представлены графически. Видно, что степень приближения является очень высокой.

Главными, принципиальными результатами данного параграфа являются граничные выражения (470) и (473) для вероятностей ложной тревоги и пропуска соответственно, а также приближенные выражения для вероятности ошибки (479), (480), (482), (483), (484) и (485). Эти выражения позволят нам находить оценки достоверности в ряде физически интересных случаев.

Результаты для некоторых других случаев можно найти в [34] и [35], а также в задачах вне основного текста.

Рис. 2.44. Точные и приближенные выражения для ошибки в бинарной симметричной задаче на испытание гипотез.

В гл. 3 второго тома мы будем исследовать проблему обнаружения гауссовых сигналов на фоне гауссова шума. При этом для оценки достоверности оптимальных устройств обработки будут использоваться соответствующие модификации приведенных граничных и приближенных выражений.