Глава V. АЛГОРИТМЫ, МИНИМИЗИРУЮЩИЕ ЭМПИРИЧЕСКИЙ РИСК

§ 1. Метод минимизации эмпирического риска

Выше было установлено, что рекуррентные алгоритмы обучения распознаванию образов приводят к успеху, но при этом необходимо использовать достаточно большую обучающую последовательность. Длину последовательности можно сократить, но тогда обучающееся устройство должно иметь память и помнить всю обучающую последовательность. Последовательность должна использоваться многократно до тех пор, пока коэффициенты разделяющей гиперплоскости не перестанут меняться, т. е. до тех пор, пока элементы обучающей последовательности не будут разделены гиперплоскостью безошибочно. Безошибочное разделение обучающей последовательности означает, что выбрано решающее правило, минимизирующее эмпирический риск.

Таким образом, оказалось, что попытка уменьшить достаточную для обучения длину последовательности привела к минимизации эмпирического риска. Возникает вопрос, всегда ли в задаче обучения распознаванию образов метод минимизации эмпирического риска приводит к успеху?

Нет, это не так. Вот пример обучающегося устройства, которое минимизирует эмпирический риск, но не способно обучаться. Устройство запоминает элементы обучающей последовательности, а каждую ситуацию, предъявленную для распознавания, сравнивает с примерами, хранящимися в памяти. Если предъявленная ситуация совпадает с одним из хранящихся в памяти примеров, то она будет отнесена к тому классу, к которому относится пример. Если же в памяти устройства нет аналогичного примера, то ситуации классифицируются наудачу (например, с помощью бросания монеты). Понятно, что это устройство, вообще говоря, не может ничему научиться, так как в обучающую последовательность обычно входит лишь ничтожная доля ситуаций, которые могут возникнуть при контроле. А вместе с тем такое устройство классифицирует элементы обучающей последовательности безошибочно.

Как же различить, когда метод минимизации эмпирического риска может быть успешно применен в задаче обучения распознаванию образов, а когда нет? Ответ на вопрос и составляет содержание теории алгоритмов обучения распознаванию образов, минимизирующих эмпирический риск.