Метод потенциальных функций.

Обычно без нарушения общности задача обучения классификации рассматривается как задача разделения на два класса: . В детерминированной постановке оба класса не пересекаются друг с другом и могут быть четко отделены один от другого.

Метод потенциальных функций позволяет за конечное число показов входных сигналов из обучающей последовательности построить разделяющую функцию принимающую положительные значения в точках, соответствующих классу и отрицательные значения в точках, соответствующих классу При построении в режиме обучения с поощрением используется информация о знаке разделяющей функции, т. е. восстанавливается функция по нерегулярно появляющимся отдельным ее точкам. После построения разделяющей функции, т. е. по окончании процесса обучения, любая входная ситуация, принадлежащая классам Q или и появляющаяся на входе автомата, правильно опознается автоматом.

Функция в -мерном пространстве признаков должна быть ограничена и представима линейной комбинацией ограниченных на X функций

где — неизвестные коэффициенты, обеспечивающие «достаточную гладкость» — система функций разложения.

Причем должно соблюдаться условие

где — последовательность положительных чисел, для которой

Каждой входной ситуации в пространстве х ставится в соответствие потенциальная функция двух переменных:

Ввиду ограниченности линейно независимой системы функций функция ограничена по модулю при

При появлении точек из обучающей последовательности строится потенциальная функция для каждой точки.

Для первой точки

Для второй точки

При невыполнении (11.180) получается из добавлением со знаком множества Q или (по принадлежности потенциала

На шаге обучения строится потенциальная функция

где — значения, подстановка которых в предшествующий потенциал приводила к ошибке.

На шаге обучения возможны следующие сочетания:

При совпадении знаков множества Q или (по принадлежности и функции

При несовпадении знаков необходимо исправление

где имеет знак в (11.183) для и знак в (11.183) для

Таким образом, алгоритм построения разделяющей функции можно записать в следующем виде:

Алгоритм (11.186) обеспечивает конечное число исправлений ошибок, если функция строго разделяет множества и представима разложением (11.177). Число исправлений в этом случае, не превышает т. е.

На основании (11.187) следует вывод об уменьшении числа исправлений при прочих равных условиях с увеличением т. е. чем более компактны разделяемые множества, тем меньше требуется исправлений ошибок для полного разделения множеств.

Сходимость алгоритма за конечное число итераций с вероятностью, равной единице, доказывается при соблюдении условий, кроме вышеназванных на статистику предъявления обучающей последовательности: точки обучающей последовательности появляются независимо; для любого

итерации имеется строго положительная вероятность исправления ошибки, если до не произошло полного разделения множеств функцией

Качество обучения характеризуется той вероятностью ошибки, которая может быть получена в процессе экзамена после обучения на обучающей последовательности определенной длины. Поскольку максимальное число исправлений ошибки, определяемое (11.187), фактически участвует в определении длины обучающей последовательности, то требуемое качество может быть получено при использовании последовательности

где Т — произвольное число показов, следующих после исправления ошибки и не приводящих к исправлению.

Для заданного качества с вероятностью ошибки большей, чем величина Т оценивается как

Если учитывать число всех предшествующих исправлений ошибок, то доверительная длина обучающей последовательности будет

где — общее число показов; — число предшествующих исправлений ошибок.

Вероятность ошибки превысит , если выбрать