ПРИЛОЖЕНИЕ G. МЕТОД ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ ИЛИ ВОСПРОИЗВОДИМЫХ ЯДЕР

Метод потенциальных функций, предложенный и детально изученный Айзерманом, Браверманом и Розоноэром, применяется для последовательной аппроксимации неизвестных равномерно ограниченных непрерывных функций, которые могут быть детерминированными или стохастическими. Неизвестной функцией может быть, например, разделяющая функция, функция отклика системы или функция распределения вероятностей (или плотности). В настоящем приложении кратко излагается метод потенциальных функций и описывается несколько его применений.

Рассмотрим функцию точное поведение которой неизвестно. Единственная имеющаяся информация заключается в некоторых сведениях о значениях в определенных точках Задача обучения заключается в том, чтобы, исходя из имеющейся информации, построить функцию, близкую в определенном смысле к Пространство величин X в общем случае является многомерным, и точки замеров не могут выбираться произвольно, а располагаются независимо случайным образом. Кроме того, информация может содержать помеху или быть лишь частично измеримой (например, можно измерить лишь знак Поэтому для решения задач обучения (оценки) практически оказываются неприменимыми обычные методы экстраполяции. В этих случаях возможно применение метода потенциальных функций.

Общая формулировка метода потенциальных функций может быть изложена следующим образом. Пусть полное множество функций, определенных в Предположим, что оцениваемая функция может быть представлена разложением

Коэффициенты априори неизвестны. Обучающие замеры предполагаются статистически независимыми и имеют распределение, определяемое некоторой неизвестной функцией плотности вероятностей Введем функцию двух переменных, называемую потенциальной функцией и имеющую следующий вид:

где вещественные числа, выбранные так, что функция является ограниченной. После того как сделано наблюдений может быть вычислена оценка функции обозначаемая с помощью следующего общего алгоритма:

при Величина зависит от типа информации, полученной о значениях функции Функция предполагается достаточно гладкой, так что всегда выполняется условие

В частном случае, когда можно представить в виде конечной суммы

потенциальную функцию можно выбрать в виде

и условие автоматически выполняется при Кроме того, при этом

где

Рассмотрим теперь четыре возможных применения этого метода.

1. Оценка функции при замерах без помех

Пусть и положим, что обучающие наблюдения где свободны от помех. Пусть, кроме того, обладают независимыми распределениями соответственно некоторой неизвестной функции плотности вероятности Для оценки может быть применен обучающий алгоритм при

где

последовательность положительных чисел, удовлетворяющих условиям

Иначе говоря, может быть выбрано в виде

где А — произвольная положительная постоянная, удовлетворяющая условию

Тогда при условии могут быть доказаны следующие свойства сходимости:

при использовании и

при использовании Если условия и удовлетворяются и при любом

где не равны одновременно нулю, то сходится к в соответствии с и с вероятностью единица.

2. Оценка функции при замерах с помехами

Пусть

где независимые случайные величины (помеха) с нулевыми средними и конечными ковариациями. Кроме того, функция плотности условной вероятности предполагается не зависящей от При этих условиях в алгоритме положим

где удовлетворяет условию Можно показать, что

т. е. при применении алгоритма с формулой оценка сходится к в среднеквадратичном. Аналогично, если удовлетворяются и то также сходится к с вероятностью единица.

3. Классификация образов — детерминистский случай

Предположим, что образы на входе классификатора принадлежат одному из двух классов и допустим, что не пересекаются. Используемая классификатором решающая функция такова, что для некоторого

В обычно используемом частном случае

Пусть обучающие наблюдения из обоих классов образов независимо распределены в соответствии с неизвестной функцией плотности вероятностей Наблюдения являются векторами признаков, характеризующими входные образы (обучающие образцы) с известной принадлежностью к классам. Можно использовать алгоритм чтобы установить оценки приняв

Если выполняется условие то можно доказать следующее свойство сходимости:

Пусть, кроме условия статистики обучающих наблюдений удовлетворяют следующему условию: для если не полностью разделены (не классифицированы точно) функцией то существует строго положительная вероятность появления замера который уменьшает ложные распознавания. Тогда с вероятностью единица такое можно найти. Другими словами, с вероятностью единица сходится к за конечное число итераций (наблюдений)

Более конкретно скорость сходимости и правило остановки для процесса обучения можно выразить через число поправок, сделанных при ложных распознаваниях. Пусть некоторая бесконечная последовательность обучающих наблюдений, произведенных в Можно показать, что существует величина

которая не зависит от выбора так что число поправок (ложных распознаваний) Процесс обучения считается законченным, если после поправок ложных распознаваний в течение последующих наблюдений больше поправок нет.

Пусть вероятность ложной классификации после обучающих наблюдений равна Тогда может быть выбрано согласно следующему останавливающему правилу. При

если

4. Классификация образов — статистический случай

В этом случае классификация основывается на множестве вероятностей где число классов образов. Так как априори неизвестно, то для оценки вероятностей может быть применен метод потенциальных функций. Обозначим и рассмотрим случайную функцию равную

где обозначает дополнение к Из следует, что

и

Пусть

где случайная величина с нулевым средним и конечной дисперсией. Тогда задача, как и в § 2, сводится к оценке по замерам с шумами. Другой подход заключается в рассмотрении оператора действие которого на произвольную функцию определяется следующим образом:

При выполнении наблюдения классификатор относит его с вероятностью и с вероятностью

Учитывая информацию о фактической принадлежности получим четыре возможности и Здесь первый символ указывает класс образов, к которому действительно принадлежит, а второй символ — класс образов, к которому классификатор относит Тогда в алгоритме для последовательности определяемой следующим образом:

где последовательность положительных чисел, удовлетворяющих последовательные оценки сходятся к в среднеквадратичном.

Для выбора потенциальных функций предложено два метода. Первый метод заключается в том, что прежде всего выбирается определенная система функций Обычно удобно выбирать множество ортонормированных функций. Далее в соответствии с составляется потенциальная функция. Второй из предложенных методов заключается в непосредственном выборе потенциальной функции в виде симметричной функции двух переменных Если в пространстве определено понятие расстояния между то удобно потенциальную функцию выбирать в виде функции расстояния. Однако необходима уверенность в том, что выбранная функция может быть представлена в виде С этой точки зрения полезна рассматриваемая ниже теорема.

Теорема. Пусть является либо ограниченной областью некоторого -мерного евклидова пространства Елибо дискретным конечным множеством точек в Пусть, далее, функция где

является непрерывной функцией в многомерное преобразование Фурье которой

положительно в любой точке Тогда для потенциальная функция может быть разложена в ряд вида где полная система функций в

Следует отметить, что теорема дает лишь условие, гарантирующее требование разложимости потенциальной функции, но ничего не говорит о построении функций для данной потенциальной функции. Если удовлетворяет условиям теоремы и функция расстояния определена следующим образом:

то полезно выбрать потенциальную функцию в форме Например, можно выбрать в виде

преобразование Фурье которой имеет вид

Как недавно указал Симмонс [6], существует тесная связь между методом потенциальных функций и методом воспроизведения ядер [7]. Из теории интегральных уравнений Фредгольма [8] известно, что если множество ортонормированных функций является полным в некотором множестве функций то ядро в этом множестве определяется формулой

где собственное значение соответствующее нормированной собственной функции Выражение для гарантирует, что являются парами собственных значений и собственных функций. Если суммирование заканчивается после некоторого конечного числа то является специальным

ядром Пинчерле — Гурса с М собственными значениями. Уравнение в этом случае эквивалентно потенциальной функции, определенной формулой Требование, чтобы следовательно, принадлежали классу -функций, эквивалентно ограничениям, наложенным на в методе потенциальных функций.

Литература

(см. скан)