§ 3.7. Обучение критерию Байеса

В § 3.2 были рассмотрены критерий Байеса и его применение для построения алгоритма распознавания. Возможность использования критерия Байеса связана с наличием условных плотностей распределения априорных вероятностей и платежной матрицы (1.7). Однако если воспользоваться методами обучения, то алгоритм распознавания, основанный на критерии Байеса, может быть построен и в случае, когда объем исходной априорной информации не позволяет непосредственно определить функции Реализация процедуры обучения возможна, если даны исходная обучающая выборка (2.24) и платежная матрица (1.7).

Рассмотрим, пользуясь уже известными методами, процесс обучения критерию Байеса применительно к ситуации, когда число классов равно двум [5]. Принадлежность объекта классу или классу определяется знаком функции представляющей собой производную от среднего риска по и равной (3.12)

Аппроксимируем системой линейно независимых функций:

Условие минимума ошибки аппроксимации, определяемой функционалом

имеет вид

Обозначим матрицу размера

Тогда

Подставим в (3.81) уравнение (3.76):

или

где

Предположим, что компоненты вектор-функции ортонормированы, при этом

Пусть также

Тогда алгоритм оптимального обучения критерию Байеса, реализующий на каждом шагу оптимальное решающее правило, может быть записан следующим образом: