4.6. ОЦЕНКА ФУНКЦИЙ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ

Из сказанного в предыдущих разделах следует, что оценка плотностей распределения является важнейшей задачей, возникающей при реализации байесовского классификатора образов. В данном параграфе обратимся к нескольким основным подходам, при помощи которых можно получить оценки подобных плотностей распределения, исходя из заданной выборки образов.

4.6.1. Вид плотности распределения

Прежде чем приступать к изложению методов оценки плотностей распределения, целесообразно остановиться на мотивах выбора плотности распределения определенного вида. Понятие энтропии является хорошей основой для подобного обсуждения. Принцип максимума энтропии утверждает, что если плотность распределения некоторой случайной величины неизвестна, то из логических соображений следует выбрать такую плотность распределения, которая обеспечивает максимизацию энтропии случайной величины при учете всех известных ограничений. Применение этого критерия приводит к решению, отличающемуся минимальным смещением, так как плотность распределения любого другого вида будет обладать большим смещением «в сторону» информации, содержащейся в известном наборе данных. Плотность распределения, обеспечивающую максимум энтропии, особенно легко определять в тех случаях, когда все известные ограничения представлены в форме средних оценок, таких, например, как математические ожидания и дисперсии плотности распределения,

Энтропия совокупности образов с плотностью распределения определяется как

Для упрощения формы записи мы снова опускаем указание о принадлежности образа определенному классу, т. е., как и выше, плотность распределения — это плотность распределения Пусть априорная информация о случайной величине задается в виде

и

Наша цель заключается в таком задании плотности распределения чтобы величина энтропии при выполнении ограничений (4.6.2а) и (4.6.2б) была максимальной. Использование множителей Лагранжа позволяет построить функцию

где для всех образов

Взяв частные производные от функции по плотности распределения имеем

Приравняв подынтегральное выражение нулю и выразив из этого уравнения получим

Здесь параметров выбирать так, чтобы они соответствовали априорной информации об образах содержащейся в соотношениях (4.6.2а) и (4.6.2б).

Исходя из (4.6.5), легко показать, что, когда известно, что случайная величина отлична от нуля только в конечном интервале, следует выбирать равномерное распределение. Если случайная величина может принимать любое действительное

значение, а единственными разумными характеристиками считаются математическое ожидание и дисперсия, то следует выбирать нормальное распределение. Выбрав плотность распределения, необходимо заняться оценкой параметров выбранной функции. Проведенный анализ показывает, что при следовании энтропийной концепции выбор нормального распределения является вполне приемлемым допущением, если единственными известными характеристиками образов являются математическое ожидание и дисперсия. Поскольку с практической точки зрения эта задача весьма важна, в следующих двух пунктах основное внимание уделяется методам оценки вектора средних значений и ковариационной матрицы выборки образов.

Пример. Рассмотрим в качестве иллюстрации случай, когда априорная информация о случайной величине х заключается в том, что . Тогда из (4.6.5) следует, что . Так как , то и

последнее выражение характеризует равномерную плотность распределения в заданном интервале.

Пусть теперь априорная информация о случайной величине сводится к тому, что .

В таком случае из формулы (4.6.5) следует, что . Поскольку решение уравнений

и

относительно множителей и приводит к

то

И если, наконец, априорная информация о случайной переменной заключается в том, что

то из (4.6.5) заключаем, что

а использование заданной априорной информации позволяет получить следующее:

Решение этих уравнений относительно множителей дает

т. е. получена плотность нормального распределения.