4.6.4. Аппроксимация плотностей распределения функциями

В пп. 4.6.2 и 4.6.3 были рассмотрены частные случаи оценки параметров плотности распределения — предполагалось, что тип распределения известен. Часто, однако, это допущение неприемлемо и возникает необходимость оценивать плотность распределения непосредственно.

Пусть — оценка плотности распределения причем, как и раньше, под подразумевается . Мы пытаемся найти такую оценку, которая обеспечила бы минимизацию среднеквадратичной ошибки (интегрального квадратичного показателя качества), определяемой как

где — весовая функция. Воспользуемся разложением оценки в ряд

где — коэффициенты, подлежащие определению, а — множество заданных базисных функций. В § 2.7 обсуждался способ построения таких функций. Известное разложение в ряд Фурье является частным случаем разложения (4.6.48) - он возникает, если базисные функции имеют синусоидальный характер.

Подстановка (4.6.48) в соотношение (4.6.47) дает

Требуется найти такие коэффициенты которые обеспечат минимизацию интеграла вероятности ошибки Необходимое условие минимальности интеграла вероятности ошибки заключается в том, что

Взяв частную производную, получим

Взглянув на правую часть уравнения (4.6.51), нетрудно убедиться в том, что она по определению равна математическому ожиданию функции . В соответствии с нашим предыдущим анализом математическое ожидание можно аппроксимировать выборочным средним, т. е.

Подстановка этой аппроксимирующей оценки в уравнение (4.6.51) дает

Если базисные функции выбраны таким образом, что они ортогональны весовой функции то из определения

ортогональности [см. (2.7.4)] следует

Подстановка (4.6.54) в уравнение (4.6.53) приводит к следующему соотношению, позволяющему вычислить искомые коэффициенты:

Если базисные функции ортонормированны, то для всех Кроме того, поскольку члены не зависят от , следовательно, для всех коэффициентов одинаковы, то их можно исключить из аппроксимирующего выражения без всякого ущерба для классификационной мощности коэффициентов. В таком случае

После того как коэффициенты определены, с помощью формулы (4.6.48) формируется оценка плотности распределения

Использование процедуры, рассмотренной в п. 4.6.2, позволяет представить выражение (4.6.56) в более удобной рекуррентной форме. Если представляет коэффициент, определенный по выборке объема , то выражение для коэффициента при увеличении выборки на один объект имеет следующий вид:

где . При использовании этой формулы для определения новых коэффициентов необходимы только уже известные коэффициенты что существенно упрощает вычислительную процедуру.

Для того чтобы применение выражений (4.6.48) и (4.6.55) или (4.6.56) приводило к успеху, необходимо иметь в виду два существенных обстоятельства. Во-первых, следует полностью отдавать себе отчет в том, что качество аппроксимации с помощью выбранной системы базисных функций зависит от числа членов разложения. Поскольку, по всей вероятности, вид плотности распределения нам не известен, оценить качество аппроксимации при помощи непосредственного сравнения невозможно. С другой стороны, так как оценка

отыскивается для того, чтобы построить байесовский классификатор, то заботиться следует только о качестве распознавания, доступном этому классификатору. Последнее можно установить непосредственно в эксперименте с обучающей выборкой. Если при некоторой оценке качество классификации оказывается неудовлетворительным, следует попробовать увеличить число базисных функций и посмотреть, приводит ли улучшение качества оценки к улучшению качества классификатора. Эту процедуру можно продолжать вплоть до наступления «насыщения» (когда введение дополнительных членов не производит никакого либо очень малый эффект) или до тех пор, пока число членов не начнет превосходить допустимую величину.

Вторым важным моментом является выбор базисных функций. Так, например, если плотность распределения имеет синусоидальный характер, а для разложения оценки использован степенной ряд, то очевидно, что число членов будет значительно больше, чем при выборе синусоидальных базисных функций. Естественно, при отсутствии априорных сведений о характере плотности распределения базисные функции в первую очередь должны выбираться исходя из простоты реализации. Все, что можно было бы сказать об общих правилах выбора базисных функций, сводится к тому, что при выполнении условия линейной независимости и некоторых других не очень жестких ограничений на вид плотности распределения можно доказать сходимость при Отметим, что ортогональность является частным случаем линейной независимости.

Пример. Рассмотрим классы, приведенные на рис. 4.6. Для этих классов требуется сформировать байесовский классификатор, воспользовавшись плотностями распределений, полученными непосредственной оценкой по обучающим выборкам. Эти плотности можно аппроксимировать, применив выражения вида (4.6.48):

в котором первый индекс коэффициента указывает класс .

Как следует из (4.6.54), базисные функции считаются ортогональными в области определения образов. Особенно удобны для применения многочлены Эрмита, рассмотренные в § 2.7, поскольку областью их ортогональности является интервал . В одномерном случае эти функции определяются рекуррентным соотношением

Рис. 4.6. (см. скан) Определение границы, разделяющей классы, методом Байеса с использованием аппроксимации плотностей распределения функциями.

[см. (2.7.18)]. Первые члены функции имеют следующий вид:

Все эти функции ортогональны. Как показано в п. 2.7.3, ортонормированные функции определяются следующим выражением:

в котором множитель при представляет собой ортонормирующий коэффициент. В иллюстративных целях с ортогональными функциями мы будем обращаться так, как если бы они были ортонормироваиными. Обычно этот прием работает хорошо и позволяет избежать вычислительных трудностей в

(4.6.55) при больших значениях . В частности, при для многочленов Эрмита .

Множество ортогональных функций для двумерного случая легко получить, формируя произвольные попарные комбинации одномерных функций. Пусть . Четыре члена низшего порядка двумерного ортогонального множества выглядят следующим образом:

Должно быть очевидно, что порядок формирования этих функций не единственный. Для получения любой функции можно использовать произвольную парную комбинацию функций одной переменной. Любой иной выбор просто приведет к получению более сложных членов.

Теперь задача заключается в определении коэффициентов разложения Используя допущение об ортонормированности функций, эти коэффициенты можно вычислить посредством (4.6.56). Для класса

где — число образов, входящих в класс изменяется в диапазоне от 1 до . Для образов класса представленного на рис. 4.6, применение данной процедуры дает

где первый индекс образа указывает, какому классу он принадлежит (в данном случае ). Так как , то

Следующий коэффициент определяется выражением

и так как реализация функции эквивалентна удвоению первой компоненты образа то

Аналогично получим

Применение этой же процедуры к образам класса приводит к следующим коэффициентам:

Следовательно, согласно (4.6.48), аппроксимация плотности распределения такова:

В таком случае искомые решающие функции имеют вид

Если предположить, что то

В таком случае уравнением разделяющей границы будет

Соответствующая граница показана на рис. 4.6. Поскольку данная задача требует разделения образов на два класса, разность решающих функций представляет классификационную решающую функцию. Следует отметить также, что в данном случае с равным успехом можно было воспользоваться линейной аппроксимацией плотностей распределения . В этом можно убедиться, приравняв нулю нелинейный член последнего выражения. Хотя мы для того, чтобы проиллюстрировать процедуры во всех подробностях, с самого начала работали с нелинейной решающей функцией.

должно быть очевидно, что в большинстве задач в первую очередь используется линейная аппроксимация. Только получение неприемлемых результатов заставляет увеличивать сложность аппроксимации.

Важный частный случай аппроксимации посредством функций возникает при оценке плотностей распределения для двоичных образов. Если имеется образ и каждая его компонента принимает значения 1 или 0, то общее число возможных различных образов равно причем каждому из них соответствует «своя» вершина единичного -мерного куба. В таком случае нам нужно определять не плотность непрерывного распределения, а плотность дискретного распределения где индекс пробегает значения от 1 до другими словами, нас интересует вероятность появления каждого из возможных векторов образов. Результаты настоящего раздела нетрудно использовать для решения данной задачи посредством соответствующего выбора базисных функций . В качестве последних можно использовать полиномиальные функции Радемахера — Уолша, которые часто применяются при разложении дискретных функций. Искомое множество содержит членов, полученных перемножением различных членов вида в количестве пуля, одного, двух, трех и т. д. — вплоть до Эта процедура проиллюстрирована в табл. 4.1.

Эти дискретные полиномиальные функции ортогональны относительно весовой функции (см. п. 2.7.1), так как

где суммирование проводится по всем значениям двоичных векторов

Если в разложении используется только базисных функций, то приближенное значение плотности дискретного распределения имеет, согласно (4.6.48), следующий вид:

где коэффициенты определяются из (4.6.55) при , т. е.

Соответствующие коэффициенты для ортонормированиых функций задаются соотношением (4.6.56).

Таблица 4.1 (см. скан). Формирование полиномиальных функций Радемахера — Уолша

Поскольку в данном случае полное множество базисных функций состоит из элементов, сходимость аппроксимированной плотности распределения к истинной плотности распределения обеспечивается при (общее число различных двоичных образов).

Пример. В качестве примера аппроксимации посредством дискретных функций рассмотрим снова образы, представленные на рис. 4.3. Образы принадлежат двум классам: .

Решив воспользоваться линейиой аппроксимацией плотности распределения , из табл. 4.1 получаем , где все принимают значения 0 или 1.

Коэффициенты для класса согласно (4.6.59), суть

где представляет количество образов, входящих в класс . Проведя суммирование по образам класса получим

Применение такой же процедуры к классу дает

В таком случае аппроксимации плотностей распределения выглядят следующим образом:

Приняв, что получим следующие решающие функции:

Одну решающую функцию, обеспечивающую разделение обоих классов, можно получить, положив Таким образом,

после умножения на 16 эта функция принимает вид

Легко убедиться в том, что для всех образов класса для всех образов класса Использование ортонормированных функций дает такие же результаты.

Следует отметить, что решающая функция имеет смысл только для двоичных образов . Следовательно, в данном случае понятие разделяющей поверхности в том виде, как оно вводилось выше, перестает работать. Функция имеет только восемь значений — по одному на каждый из восьми различных двоичных образов, которые могут существовать в трехмерном пространстве.