БАЙЕСОВСКОЕ РЕШАЮЩЕЕ ПРАВИЛО

— статистическое решающее правило, обеспечивающее минимум среднего риска решения. Под средним риском понимается следующее. Имеются объекты или ситуации, определенные параметры которых нас интересуют (напр., названия классов, к которым эти объекты принадлежат). Информация об объектах задается в форме наборов признаков получаемых путем прямых измерений. Предполагается, что при каждом возможном значении искомого параметра у наборы признаков представляют собой реализации случайной величины с известным условным распределением вероятностей Предполагается также, что известно априорное распределение вероятностей искомых параметров. Для определения этих параметров можно указать некоторое решающее правило , которое отображает пространство признаков X на множество решений , т. е. указывает для каждого объекта, описываемого набором признаков решение . Это решение оценивает истинное значение искомого параметра данного объекта. Мн-во решений в общем случае может не быть тождественно (точнее, изоморфно) мн-ву Г значений искомых параметров. Задается ф-ция потерь которая устанавливает, какой количественный убыток приносит решение X в случае, когда действительное значение параметра равно у. Средний риск решения определяется как матем. ожидание потерь при использовании данного решающего правила здесь знаком обозначено суммирование дискретных или интегрирование по вероятностной мере непрерывных величин. Б. р. п. определено условием: при всех возможных правилах . Для каждого набора признаков Б. р. п. указывает такое решение при котором средняя условная потеря минимальна. Пример

Б. р. п. - баиесовскии алгоритм распознавания «с отказами». Пусть X — любое пространство признаков, для которого заданы распределения Искомый параметр у — это номер класса распознаваемого объекта; Множество решений (т. е. номеров классов, указываемых алгоритмом) отличается от Г и имееет вид: где дополнительный класс неразборчивых объектов (отказов от распознавания). Ф-ция потерь задается в следующем виде:

(потеря при отказе принимается меньшей, чем при ошибке: При указанных условиях байесов алгоритм сводится к следующему: в противном случае, Б. р. п. используется в теории статистич. решений, в распознавании образов, в игр теории (байесова стратегия), в оптимального управления теории и пр.

Важным частным случаем использования Б. р. п. в распознавании образов является байесовское обучение. При обучении, кроме искомого параметра — номера класса у, неизвестен и ряд иных параметров Р, характеризующих рассматриваемые объекты (иногда такие добавочные неизвестные параметры наз. мешающими). Предполагается, что значения мешающих параметров постоянны для совокупности всех рассматриваемых объектов в каждой конкретной задаче обучения и известно априорное распределение вероятностей этих значений для ансамбля однотипных задач обучения. Задача байесовского обучения может быть сформулирована по-разному. Напр., ее можно поставить как задачу построения Б. р. п., указывающего значения параметров Р или значения определенных ф-ций от этих параметров по заданной обучающей выборке. В обучаюшую выборку наборы признаков объектов, для которых указаны их классы (при обучении с идеальным учителем указываются действительные значения с реальным — ответы

некоторого вспомогательного решающего правила, которые являются оценками действительных значений у и в принципе могут и не совпадать С ними). Полученные при обучении оценки значений мешающих параметров или ф-ций от этих параметров подставляются затем в качестве значений самых параметров или их ф-ций при построении байесовского алгоритма распознавания (Б. р. п., указывающего искомые классы объектов). Естественно потребовать, чтобы оценки параметров, полученные при обучении, позволяли осуществлять распознавание возможно лучшим способом. Поэтому в наиболее общем случае байесовское обучение сразу формулируется как задача построения байесовского алгоритма распознавания в присутствии мешающих параметров и заключается в минимизации среднего условного риска распознавания объектов при заданной обучающей выборке. Предполагается, что известны следующие статистические характеристики: условное совместное распределение вероятностей элементов обучающей выборки и наборов признаков распознаваемых объектов Средний риск решений , принимаемых алгоритмом распознавания для наборов признаков когда задана обучающая выборка и, задается как

где V — мн-во обучающих выборок, а условное совместное распределение вероятностей элементов обучающей выборки и набора признаков распознаваемого объекта получается по известным статистич. характеристикам: ; здесь В — мн-во значений мешающих параметров. Обычно вводятся следующие упрощающие предположения: 1) элементы обучающей выборки статистически независимы и 2) при известных значениях мешающих параметров наборы признаков распознаваемых объектов статистически не зависят от обучающей выборки: . При этом , и для приведенного выше примера подобное байесовское обучение сводится к замене условных вероятностей классов оценками , представляющими собой условные математические ожидания вероятностей , которые являются ф-циями от мешающих параметров.

Г. Л. Гимелъфарб.