§ 8. Селекция обучающей последовательности

В этом параграфе мы рассмотрим идею селекции обучающей последовательности: исключение из обучающей последовательности нескольких элементов с тем, чтобы с помощью оставшегося множества найти функцию, доставляющую меньшую гарантированную величину среднему риску.

Заметим, что для задачи распознавания образов селекция обучающей последовательности не имеет смысла: решения, получаемые минимизацией эмпирического риска по всей обучающей выборке и по обучающей подвыборке, полученной исключением минимального числа элементов с тем, чтобы подвыборка могла быть разделена безошибочно, достигаются на одном и том же решающем правиле. Это обстоятельство является следствием того, что функция потерь в задаче распознавания образов принимает только два значения — нуль и единица.

В задаче восстановления регрессии функция потерь может принимать любые положительные значения, и поэтому исключение некоторых элементов х, у может

существенно изменить как само решение, так и оценку качества полученного решения.

Итак, пусть задана обучающая последовательность

Рассмотрим одновременно различных задач восстановления функциональной зависимости по эмпирическим данным

Выражение означает, что из обучающей последовательности (8.52) исключен элемент Задачи различаются лишь тем, что в каждой из них функциональная зависимость восстанавливается по своей обучающей выборке, полученной из (8.52) исключением не более элементов. (Из (8.52) может быть образовано различных подвыборок, состоящих из элементов. Всего, таким образом, возможно различных задач.)

Согласно теореме 7.6 для каждой из задач с вероятностью справедливо неравенство

где число исключенных векторов в задаче. Следовательно, одновременно для всех задач с вероятностью справедливы неравенства

Будем теперь искать минимум правой части (8.53) не только по элементам структуры и функции но и по всем задачам.

Иначе говоря, будем минимизировать функционал

по элементам здесь знак указывает на то, что элементов не суммируются.

Перебором по (обычно ) найдем наименьшую величину (8.54). Она определяет гарантированную (с вероятностью величину среднего риска.

Таким образом, при поиске наилучшего гарантированного решения, кроме оптимизации по структуре и функциям, принадлежащим элементу структуры, возможна дополнительная оптимизация по выбору обучающего подмножества из заданного обучающего множества (8.52). В условиях малой выборки подбор обучающего подмножества из заданного множества весьма часто оказывается полезным на практике.