7.7. ВЫБОР ПРИЗНАКОВ ПОСРЕДСТВОМ АППРОКСИМАЦИИ ФУНКЦИЯМИ

Если признаки образов, составляющих некоторый класс, можно охарактеризовать с помощью функции определяемой на основе результатов наблюдений, то процесс выбора признаков можно рассматривать как задачу аппроксимации некоторой функцией. В процессе обучения известны значения функции признаков в точках, соответствующих выборочным образам . Необходимо найти такую аппроксимацию функции , чтобы обеспечивалась оптимизация по некоторому критерию качества. Существуют различные методы определения аппроксимирующих функций. В данном разделе мы рассмотрим метод разложения по системе функций, метод стохастической аппроксимации и метод аппроксимации с помощью ядер применительно к задаче аппроксимации функций признаков.

7.7.1 Разложение по системе функций

Пусть задано М классов и представляет функцию признаков класса. При определении аппроксимирующей функции целесообразно в качестве критерия качества использовать минимум суммы взвешенных квадратов ошибок в выборочных точках. Этот критерий точности можно записать в виде

где есть образ класса, — количество образов, входящих в этот класс, и — некоторые положительные весовые коэффициенты, поставленные в соответствие векторам образов Теперь задача сводится к определению для каждого класса аппроксимирующей функции минимизирующей функцию ошибок (7.7.1), .

Аппроксимирующую функцию можно представить в виде линейной комбинации базисных функций:

В этом соотношении

и

где — число членов, использованных для аппроксимации функции признаков, и — линейно независимые функции, определенные на множестве дискретных наблюдений Из (7.7.2) заключаем, что значение аппроксимирующего функционала зависит от коэффициентов причем . Если выбрать равным то ошибка станет нулевой, однако число членов разложения окажется равным количеству образов, входящих в класс Минимум можно определить, взяв частную производную по Условие минимальности

порождает систему алгебраических уравнений для вычисления коэффициентов разложения. Если базисные функции выбраны и коэффициенты разложения вычислены, то аппроксимация функции признаков определяется из (7.7.1).

Подставив выражения (7.7.2) в (7.7.1) и взяв частную производную, получим

Приравняв частную производную нулю и упростив выражение, получим

Запись (7.7.7) в матричном виде приводит к следующему условию минимальности:

где — положительно определенная симметрическая матрица размера с элементами

а — -мерный вектор с компонентами

Так как предполагалось, что базисные функции на образах класса - линейно независимы, то нетрудно показать, что матрица имеет обратную матрицу. Поэтому коэффициенты разложения можно определять как

Вычисление этих коэффициентов упрощается, если базисные функции выбрать так, чтобы они были ортогональны весовым коэффициентам . В этом случае базисные функции удовлетворяют условию

и матрица становится, следовательно, диагональной, что существенно упрощает определение обратной матрицы . При

выполнении условия (7.7.12) коэффициенты разложения принимают вид

или, в векторной форме,

где — диагональная матрица с элементами

Если, кроме того, функции выбраны так, что они ортонормированны относительно весовых коэффициентов, то

и так как при выполнении этого условия , то из (7.7.11) следует

Описанный подход к выбору признаков основывается на теореме Вейерштрасса о приближении, которая, как указывалось в утверждает, что любую функцию, непрерывную в замкнутом интервале, можно с любой заданной точностью равномерно приблизить в этом интервале некоторым многочленом. В данном случае признаки каждого класса оказываются просто векторами коэффициентов . Процесс выбора признаков заключается в выборе достаточного числа коэффициентов с тем, чтобы ошибки (7.7.1) были достаточно малыми. Обращение к формулам (7.7.13) или (7.7.16) позволяет установить, что коэффициенты не зависят от размерности векторов Следовательно, если сумма квадратов ошибок в точках, соответствующих наблюдаемым образам, оказывается недостаточно малой, то можно обратиться к аппроксимации высшего порядка, введя дополнительный член где — другая ортогональная или ортонормированная функция. Более того, все коэффициенты деленные ранее, остаются неизменными. Мы просто добавляем новый член в аппроксимирующее выражение.

Пример. Рассмотрим следующие наблюдения функций признаков двух классов, соответствующие указанным точкам выборочных образов

Требуется с помощью описанных здесь методов найти аппроксимации функций признаков.

Первый шаг решения этой задачи состоит в выборе подходящего множества базисных функций. Нетрудно убедиться, что базисные функции

ортогональны относительно весовых коэффициентов при всех значениях во всех классах (здесь через обозначены первая и вторая компоненты вектора Отметим, что в данном случае базисные функции каждого из классов идентичны, а также равно их число. Как следует из предыдущего, такая ситуация не обязательно будет иметь место в общем случае. Использованные здесь базисные функции имеют чисто иллюстративное значение.

Коэффициенты разложения определяются по формуле (7.7.13), поскольку ортогонализация базисных функций не проводилась. Подставив в это соотношение весовые коэффициенты получим следующие коэффициенты разложения:

где, в частности, величина согласно определению этой базисной функции, равна значению первой компоненты вектора

Аппроксимирующие функции для функций признаков находим по формуле (7.7.2):

Отметим, что эти функции все еще обладают тем свойством, что аппроксимирующая функция неотрицательна при подстановке любого образа класса отрицательна при подстановке любого образа класса

Ошибку, возникающую при использовании менее трех базисных функций для каждого класса, можно вычислить по формуле (7.7.1). Следует, однако, отметить, что ошибка аппроксимации не может непосредственно служить критерием качества полученных функций признаков. Во многих случаях оказываются приемлемыми достаточно большие ошибки аппроксимации, поскольку они не ухудшают качества системы распознавания образов.