Глава 3. Вероятностные методы распознавания

Анализ характера задачи распознавания объектов или явлений в случае, когда характер признаков вероятностный, т. е. когда между признаками объектов и классами, к которым они могут быть отнесены, существуют вероятностные связи, показал, что построение алгоритмов распознавания может быть основано на результатах теории статистических решений. При полной исходной априорной информации эти результаты могут быть использованы непосредственно. При неполной исходной информации алгоритмы распознавания также могут быть основаны на результатах теории статистических решений, хотя в данном случае эти результаты могут быть использованы лишь путем реализации процедуры обучения или самообучения.

§ 3.1. Некоторые сведения из теории статистических решений

Рассмотрим основные результаты теории статистических решений на следующем примере. Пусть совокупность объектов подразделена на классы а для характеристики объектов используется признак .

Рис. 3.1

Известны описания классов — условные плотности распределения вероятностей значений признака объектов классов т. е. функции а также априорные вероятности появления объектов . В результате эксперимента определено значение признака распознаваемого объекта (рис. 3.1). К какому классу отнести объект?

Обозначим через некоторое, пока неопределенное значение признака х и условимся о следующем правиле принятия решений: если измеренное значение признака у распознаваемого объекта

то объект будем относить к классу если к классу

Если объект относится к классу а его считают объектом класса то совершена ошибка, называемая ошибкой первого рода. По терминологии теории статистических решений, ошибочно выбрана гипотеза в то время как справедлива гипотеза

Условная вероятность ошибки первого рода, т. е. вероятность отнесения объекта к классу когда он относится к классу

Наоборот, если справедлива гипотеза а отдано предпочтение гипотезе то совершена ошибка второго рода, условная вероятность которой

По терминологии теории статистических решений, ошибочно выбрана гипотеза в то время как справедлива гипотеза

В некоторых приложениях теории статистических решений вероятность ошибки первого рода называют вероятностью ложной тревоги, а вероятность ошибки второго рода — вероятностью пропуска цели.

Пусть значения признака у объектов в каждом классе подчинены нормальным законам распределения с математическими ожиданиями и среднеквадратичными отклонениями соответственно:

Если в (3.1) подставить (3.3), то условная вероятность ошибки первого рода

где функция Лапласа.

Если в (3.1) подставить (3.4), то условная вероятность ошибки

второго рода

Условные вероятности правильных решений при справедливости гипотез соответственно

В теории статистических решений размер испытаний, а мощность испытаний.

В (3.5) и (3.6) при интегрировании функций в пределах произведена замена на которая приводит к интегралам вида

Для вычисления этих интегралов, поскольку они не выражаются через элементарные функции, пользуются таблицами специальных функций [1]:

Соображения, которыми следует руководствоваться при выборе значения признака (при разделении пространства признака на два полупространства: должны учитывать потери, сопряженные с правильными и ошибочными решениями.

Функции потерь, характеризующие потери при совершении ошибок первого и второго рода, а также потери правильных решений образуют в данном случае платежную матрицу вида

где потери, связанные соответственно с правильными решениями и ошибками первого и второго рода.

Средние потери при многократном распознавании неизвестных объектов равны сумме потерь, связанных с неправильными и правильными решениями, с учетом вероятностей их появления и априорных вероятностей поступления на вход системы распознавания объектов классов

Подставив в (3.11) выражения, определяющие получим

Системы распознавания — системы многократного действия. Поэтому необходимо, чтобы выбор был осуществлен с учетом того, что минимальна. Для определения величины при которой средний риск минимален, продифференцируем по и приравняем производную нулю, положив

откуда

Отношение условных плотностей распределения называют коэффициентом правдоподобия или отношением правдоподобия. Правая часть (3.14)

определяет собой пороговое (критическое) значение коэффициента правдоподобия.

Определим значение при условии, что значения признака у объектов, относящихся к классам подчинены нормальный законам распределения соответственно. Для этого подставим в определяемые (3.3) и (3.4):

откуда

Решая (3.17) относительного, получим

В частном случае, когда из (3.17) получим

и если

Значение о позволяет оптимальным образом (в смысле минимума среднего риска) разделить признаковое пространство на области Область состоит из для которых а область из для которых Поэтому решение об отнесении объекта к классу следует принимать, если значение коэффициента правдоподобия меньше его критического значения, а решение об отнесении объекта к классу противоположной ситуации. В общем случае, когда число классов а объекты описываются набором признаков или вектором отношение правдоподобия между классами

платежная матрица имеет вид (1.7), а величина среднего риска

Из условия минимума величины среднего риска граница в многомерном пространстве признаков между областями соответствующими классам

Если положить то уравнение границы

или

Пусть функция плотности многомерного нормального закона распределения со средним вектором и ковариационной матрицей :

Тогда граница областей

Если

Уравнение (3.28) — уравнение гиперплоскости, разделяющей с точки зрения минимальных средних потерь наилучшим образом многомерное признаковое пространство на области, соответствующие классам