§ 3.8. Самообучение при известном числе классов

Рассмотрим алгоритмы самообучения в условиях, когда число классов известно и равно двум [5]. Пусть и для описания объектов используется вектор признаков Правило максимума апостериорной информации (решающее правило) в этом случае может быть представлено в виде

При этом ни априорные вероятности ни плотности распределения не известны.

Предположим, что произведения можно представить в виде конечных разложений:

где — неизвестные векторы; — известные, заранее выбранные вектор-функции, компоненты которых ортонормированы.

Тогда решающее правило (3.87) можно записать в виде

и задача его определения сводится к нахождению неизвестных векторов а и Эти векторы, как показал Я. 3. Цыпкин, могут быть

найдены восстановлением неизвестной совместной плотности распределения:

Действительно, подставим в (3.90) выражение (3.88) :

Введем функционал в виде квадратичной формы:

Дифференцируя этот функционал по а и и учитывая, что компоненты вектор-функций ортонормированы, находим условия минимума функционала в виде

где матрица

Решая систему уравнений относительно неизвестных векторов а и получаем:

где .

Используя алгоритмы оптималыюго обучения, дающие на каждом шагу оценку с минимальной дисперсией, находим:

При этом решающее правило имеет вид

Таким образом, решающее правило (когда число классов известно заранее, однако отсутствует априорная информация относительно функций может быть построено путем восстановления совместной плотности распределения на основе исходных данных о значениях некоторой совокупности векторов характеризующих объекты различных классов.