4.1. Бейесовские процедуры в распознавании образов

4.1.0. Бейесовское правило

Классификация образов — частный случай более общей задачи: выбрать одно из возможных объяснений на основе имеющихся данных. Бейесовский вывод представляет собой процедуру принятия подобных решений. Бейесовский метод был предложен в качестве нормативной модели того, как следует себя вести, а также в качестве описательной модели того, что происходит на самом деле (Ли, 1971). Мы встретимся в этой книге несколько раз с приложениями бейесовского

подхода к принятию решений. В этом разделе мы определим основную процедуру, которую затем применим к задаче параллельной евклидовой классификации.

Пусть А, В, С, ... - дискретные события. Будут употребляться следующие обозначения вероятностей появления различных комбинаций событий:

Совместная вероятность двух независимых событий равна

В бейесовской задаче исходным является фиксированное множество гипотез которые определяют все возможные „состояния мира“ и исключают друг друга, поскольку мир должен находиться только в одном из состояний. С каждой гипотезой связана (субъективная) вероятность того, что она на самом деле выполняется. Отсюда следует, что

Истинна гипотеза или нет, нельзя проверить прямым наблюдением. Вместо этого предполагается, что можно провести эксперимент, дающий множество наблюдаемых исходов. С каждой гипотезой связана известная вероятность наблюдения каждого из возможных исходов эксперимента, т. е. Поскольку эксперимент может иметь только один исход, события взаимно исключающие. Итак,

Заметим опять, что поскольку мир должен находиться только в одном из состояний, то

Рассмотрим конкретный пример. Пусть гипотезы состоят в том, идет или не идет дождь, а эксперимент заключается в наблюдении следующих возможных событий за окном: (а) на улице нет людей,

(б) по меньшей мере у одного человека на улице есть зонтик, (в) на улице есть люди, и ни у кого из них нет зонтика. Представим себе пасмурный осенний день; тогда априорные вероятности того, идет дождь или не идет, могли бы быть такими:

Если идет дождь, то более вероятно, что улица пуста, а если кто-то должен выйти на улицу, то он, вероятнее всего, возьмет зонтик. Таким образом,

Мы видим человека с зонтиком. Какова вероятность того, что идет дождь? Задача состоит в вычислении вероятности того, что идет дождь, при условии, что на улице есть человек с зонтиком. По определению совместной вероятности

откуда

Поскольку

то

В рассматриваемом примере

Формулу (14) легко обобщить, подставив из (8):

Это и есть бейесовское правило оценки вероятности осуществления гипотезы на основе наблюдаемых событий. Оно применимо, если существует фиксированное множество гипотез, которыми исчерпывается все пространство возможных гипотез, и если для любой из них известны вероятности различных наблюдений. Правило применимо в параллельных процедурах распознавания образов (это мы изложим в следующих разделах) и в последовательных (изложение будет дано в одной из последующих глав).