§ 6. О критериях выбора

Известны две процедуры второго уровня. Обе они существенно используют то, что на втором уровне выбор решающего правила производится из небольшого числа правил (порядка десятков или сотен) и поэтому проблема равномерной сходимости здесь не стоит остро. Первая идея связана с использованием оценки качества, полученной в главе V, (5.11)

,                 (6.3)

где  – величина минимума эмпирического риска в классе ,  – показатель емкости класса .

Величина

задает доверительный интервал для класса  и монотонно растет с номером . Напротив, величина  не возрастает с ростом , поскольку эмпирически оптимальное правило из  содержится во всех  . В качестве критерия выбора может быть взята правая часть оценки, т. е.

.                (6.4)

Правило, минимизирующее (6.4), обеспечивает минимальную гарантированную величину вероятности ошибочной классификации.

Второй способ выбора решающего правила основан на использовании следующего приема оценивания, который получил название скользящий контроль. Идея этого приема такова: для того чтобы оценить качество работы каждого алгоритма низшего уровня, процедура второго уровня выделяет из обучающей последовательности один элемент и предлагает каждому из алгоритмов обучиться на оставшейся части последовательности и классифицировать выделенный элемент, затем выделяется другой элемент (а первый возвращается) и снова проводится обучение и экзамен на этом одном элементе; и так поочередно перебираются все элементы обучающей последовательности. После этого подсчитывается, сколько раз каждый алгоритм ошибался при классификации выделенных элементов. Отношение числа ошибочных классификаций к числу примеров, выделенных для обучения, и оценивает качество решающего правила, выбранного каждым из  алгоритмов.