ГЛАВА III. МЕТОДЫ ПАРАМЕТРИЧЕСКОЙ СТАТИСТИКИ В ЗАДАЧЕ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ

§ 1. Параметрические методы в задаче распознавания образов

Пусть требуется минимизировать функционал

в условиях, когда плотность распределения вероятностей неизвестна, но зато дана выборка

полученная в случайных независимых испытаниях согласно

Будем решать эту задачу по следующей схеме:

1) восстановим по выборке (3.2) плотность

2) сконструируем с помощью восстановленной плотности функционал

3) найдем минимум этого функционала и объявим функцию доставляющую минимум (3.3), решением исходной задачи минимизации (3.1).

Как указывалось в главе II, реализация этой схемы может привести к успеху лишь тогда, когда имеется значительная априорная информация о плотности а именно, когда плотность распределения вероятностей известна с точностью до параметров.

Иначе говоря, успех возможен тогда, когда заранее известна «модель» восстанавливаемой плотности. «Модель» же искомых плотностей оказывается существенно разной для различных задач восстановления зависимостей.

В этой главе мы рассмотрим задачу обучения распознаванию образов. Для нее характерно, что неизвестная

плотность распределения вероятностей может быть представлена как объединение двух плотностей заданных на разных подпространствах :

Множество пар состоит из двух непересекающихся подпространств размерности а именно:

Формула (3.4) утверждает, что на первом подпространстве плотность равна а на втором — В формуле — состав объединения; пропорция объединения.

Пусть плотность известна с точностью до конечного числа параметров:

где Р — неизвестный -мерный вектор параметров плотности у — неизвестный -мерный вектор параметров плотности скалярный параметр.

Теперь, для того чтобы реализовать нашу схему, необходимо уметь решать две задачи:

1) находить для заданной плотности распределения вероятностей минимум функционала (3.3);

2) восстанавливать по выборке (3.2) плотность распределения вероятностей

Первая задача называется в статистике задачей дискриминантного анализа, вторая задача — задачей восстановления плотности распределения вероятностей в параметрическом классе функции. Рассмотрим обе эти задачи.