5.11. МЕТОД ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ

Рассмотрение способов определения линейных разделяющих функций будет неполным, если мы не упомянем о методе потенциальных функций. Данный подход тесно связан с некоторыми уже рассмотренными нами методами, такими, как оценки парзеновского окна, метод персептрона и метод стохастической аппроксимации. Толчком к созданию метода потенциальных функций послужило следующее обстоятельство; если выборки представлять себе как точки некоторого пространства и в эти точки поместить заряды соответственно если помечено символом если помечено символом то, возможно, функцию, описывающую распределение электростатического потенциала в таком поле, можно будет использовать в качестве разделяющей функции (рис. 5.12).

Рис. 5.12. Поле распределения потенциала как разделяющая функция. О — выборки класса 1, X — выборки класса 2.

Если потенциал точки х. создаваемый единичным зарядом, находящимся в точке равен то потенциал, создаваемый зарядами в точке х, определяется выражением

Потенциальная функция используемая в классической физике, обратно пропорциональна величине Имеется и много других функций, которые с таким же успехом могут быть использованы для наших целей. Существует очевидная аналогия между функцией и функцией парзеновского окна по своему виду разделяющая функция очень похожа на разность оценок парзеновского окна для случая двух

плотностей. Но поскольку нашей задачей является лишь построение нужной разделяющей функции, в этом смысле значительно меньше ограничений существует при выборе, потенциальной функции, чем при выборе функции окна. Наиболее часто используется такая потенциальная функция, которая имеет максимум при и монотонно убывает до нуля при . Однако в случае необходимости и эти ограничения можно снять.

Пусть имеется множество из выборок, а разделяющая функция сформирована в соответствии с выражением (85). Предположим далее, что при проверке обнаружено, что некоторая выборка, скажем посредством функции классифицируется с ошибкой. Попробуем исправить ошибку, изменив немного величину Предположим, что значение увеличивается на величину единичного заряда, если помечено символом и уменьшается на такую же величину, если помечено символом Если обозначить значение разделяющей функции после коррекции через то алгоритм формирования данной функции может быть записан в следующем виде:

Данное правило коррекции ошибок имеет много общего с правилом постоянных приращений. Природа этой связи станет вполне понятна, если представить в виде симметричного конечного разложения

где Подставив данное выражение в (85), получим

где

Более того, алгоритм для вычисления на основе использования представляет лишь ненормированное правило постоянных приращений

Таким образом, если может быть представлено в виде выражения (87), сходимость доказывается точно так же, как и для правила постоянных приращений. Более того, является очевидным, что при использовании других процедур, таких, как метод релаксаций, метод наименьшей квадратичной ошибки и метод стохастической аппроксимации, можно сразу же получить «параллельные» им процедуры, основанные на применении потенциальных функций; при этом доказательства сходимости таких «параллельных» процедур совершенно аналогичны.

Метод потенциальных функций, конечно, не ограничивается использованием только таких функций, которые имеют вид конечной суммы. Любая подходящая для наших целей функция, такая, например, как

или

может быть выбрана в качестве потенциальной разделяющая функция получится, если рассматривать выборки последовательно: и использовать какую-либо итеративную процедуру, например

где некоторая функция ошибки.

При практическом применении метода потенциальных функций встречаются те же трудности, что и при использовании оценок парзеновского окна. Необходимо очень внимательно отнестись к выбору потенциальной функции, чтобы получить хорошую интерполяцию между точками выборки. При большом числе выборок появляются значительные трудности, связанные с процессом вычисления. Вообще использование метода потенциальных функций наиболее

оправдано в случае, когда либо число выборок невелико, либо размерность х достаточно мала, чтобы функцию можно было представить в виде таблицы дискретных значений х.