4.4. Алгоритмы с обучением

4.4.0. Введение

Важная разновидность задачи распознавания образов получила название „машинное обучение". Употребляется также и более осторожный термин „адаптивное распознавание образов". Предположим, что вместо того, чтобы сразу задавать фиксированную выборку X, подлежащую анализу, к устройству распознавания образов поступает последовательность

в которой каждое возможное наблюдение появляется бесконечно много раз. Мы можем представить себе как последовательность, полученную повторяющимся выбором с возвращением из множества возможных описаний объектов. При этом этапы распознавания и классификации образов совмещаются. Допустим, что есть какое-то правило классификации. При появлении каждого элемента проводится его классификация по этому правилу, и устройству распознавания образа сообщается о верной классификации. Затем правило корректируется. Вместо вопроса „Какое решающее правило должно выводиться из конечной выборки?", как было ранее, нас теперь интересует помощью какого алгоритма соответствующее решающее правило можно построить последовательным приближением?". Такой алгоритм будет называться алгоритмом с обучением. Его выходом будет последовательность решающих правил

где правило применяется для классификации наблюдения. Алгоритм с обучением называют сходящимся, если существует такое положительное целое число что

Иными словами, равенство (68) означает, что наше правило обучения установит в конце концов единственную, не меняющуюся процедуру классификации. Правило обучения считается хорошим, если процедура, которую оно устанавливает, максимизирует некоторый критерий качества классификации.

Аналогия с обучением в обычном смысле очевидна, поскольку алгоритм, удовлетворяющий этим определениям, будет обучаться по мере накопления опыта. Интересно заметить, что некоторые существующие алгоритмы с обучением можно было бы реализовать сетью элементов, похожих в каком-то смысле на нервные клетки. В самом деле, большинство ранних работ по машинному обучению, по крайней мере частично, было вызвано желанием смоделировать обучение биологических систем. Персептрон, широко известный тип обучающейся машины, впервые был описан Розенблаттом (1958), а в его книге (1962) широко обсуждается отношение алгоритмов, применяемых в персептроне, к нейрофизиологии. Помимо этого небольшого экскурса в историю, мы не будем более затрагивать вопросы использования различных схем обучения в качестве биологических моделей. (Как правило, эти попытки наивны.) Вместо этого мы рассмотрим (подобно Нильсону (1965а)) математический аспект задачи обучения.