§ 3.3. Верхние границы вероятности ошибки

Из всего сказанного выше следует, что вычисление вероятности ошибки в общем случае представляет собой трудную задачу. Даже если наблюдаемые векторы имеют нормальное распределение, для нахождения этой вероятности используются численные методы. Однако по ряду причип наибольший интерес представляет выражение для вероятности ошибки в замкнутой форме.

Располагая таким выражением, можно не только существенно уменьшить объем вычислений, но, что еще более важно, вскрыть механизм, порождающий эти ошибки. Подобная информация понадобится позднее, когда будет рассмотрена задача выбора информативных признаков.

В том случае, если нельзя получить выражение вероятности ошибки в замкнутой форме, можно применить другие методы: искать приближенное выражение для вероятности ошибки, либо определить ее верхнюю границу. В зтом параграфе будут рассмотрены некоторые выражения для верхней границы вероятности ошибки.

3.3.1. Граница Чернова.

Рассмотрим для класса характеристическую функцию решающего правила

Можно получить производящую функцию решающего правила заменяя в формуле (3.78) на действительное число

Логарифмируя производящую функцию и взяв логарифм со знаком минус, получим

Введем новую случайную величину имеющую плотность вероятности

Из выражения (3.79) видно, что выражение (3.81) представляет собой плотность вероятности, так как

Случайная величина имеет следующие математическое ожидание и дисперсию:

Далее выразим вероятность ошибки определяемую выражением (3.48), через плотность вероятности

Теперь можно получить верхнюю границу вероятности ошибки .1. Для имеем

Поэтому

Но так как интеграл в формуле (3.87) меньше 1, то

Неравенство (3.88) дает для любых верхнюю границу вероятности ошибки Оптимальную границу можно вычислить путем минимизации по выражения Другими словами, оптимальное значение должно удовлетворять уравнению

Верхнюю границу, определяемую уравнением (3.88), при оптимальном значении называют границей Чернова [Чернов, 1962]. Уравнения (3.83) и (3.89) показывают, что значение выбрано так, чтобы сделать математическое ожидание случайной величины равным величине порога.

Аналогичные соображения применимы и для получения верхней границы вероятности ошибки Выразим характеристические функции через условпые плотности вероятности

Сравнивая выражения (3.90) и (3,91), можно заметить, что подынтегральные выражения связаны следующим соотношением:

Выражая (3.92) через плотности вероятности получим

Из выражения (3.49) следует, что вероятность ошибки равна

Для имеем

Таким образом, верхняя граница вероятности ошибки равна

Из (3.96) следует, что оптимальное значение можно получить из уравнения

Таким образом, одно и то же значение дает минимальную верхнюю границу для обеих вероятностей ошибки

Если интересоваться общей вероятностью ошибки, а не вероятностью ошибки отдельного класса, можно получить лучшую верхнюю границу с помощью порогового значения (см. (3.50)). Для этого перепишем выражения (3.87) и: (3.96) следующим образом:

и наймем общую вероятность ошибки

Оптимальное значение можно определить путем минимизации по последней строки выражения (3.100). Другими словами, оптимальнее значение удовлетворяет уравнению

которое совпадает с (3.89) и (3.97).