2.2.2. Инвариантность и подобие алгоритмов.
В дискриминантном анализе при небольшом числе принципов построения правил классификации предложено очень много конкретных алгоритмов. Поэтому весьма настоятельной является задача выделения алгоритмов в чем-то похожих.
Введем необходимые обозначения. Пусть 
означает выборку (2.1) объема 
; 
распределение X, принадлежащих 
классу; (X, у) — новое наблюдение, не зависящее от 
— алгоритм, 
— правило классификации, построенное с помощью алгоритма А на выборке 
— результат применения к наблюдению X правила классификации 
— группа преобразований пространства 
Будем говорить, что алгоритм А инвариантен относительно G, если
Два алгоритма А и В будем называть асимптотически (в традиционной асимптотике) подобными для семейства распределений М, если для любого 
и любых 
таких, что 
найдется 
такое, что для 
Для асимптотики Колмогорова — Деева в вышеприведенном определении слова любых 
надо заменить на «любой последовательности (по 
) 
, удовлетворяющей условиям асимптотики». Причем в условия асимптотики должно обязательно включаться требование стремления расстояний между распределениями к конечным и отличным от нуля пределам.
Пусть 
— правило классификации по отношению правдоподобия (1.2), алгоритм А будем называть состоятельным в традиционной асимптотике над М, если для любого 
и любых 
найдется 
такое, что для 
Для асимптотики Колмогорова—Деева понятие состоятельности алгоритма не вводится, поскольку в ней даже для многомерных нормальных распределений
(2.13)
Приведем несколько примеров использования введенных выше понятий.
В п. 1.2.3 описан класс алгоритмов построения древообразных правил классификации в условиях полного знания распределений в классах. Если в формулах (1.48), (1.50) заменить функцию потерь Q и вероятности событий на соответствующие оценки типа (2.8) и частоты, оцененные по выборке 
то получим класс древообразных классификаторов. Древообразные классификаторы, очевидно, инвариантны относительно произвольных монотонных преобразований координат и не инвариантны относительно группы общих линейных преобразований 
Более того, если в традиционной асимптотике с ростом объема выборки 
но так, что 
то для достаточно гладких распределений 
древообразные классификаторы асимптотически минимизируют используемую функцию потерь и, в частности, при выборе в 
асимптотически подобны байесовскому классификатору и, следовательно, у 
состоятельны.
Подстановочный алгоритм, использующий классифицируемое наблюдение (X, у) при оценке неизвестных параметров распределений в модели Фишера. Обозначим 
оценки параметров модели 
по объединенной выборке 
где 
— наблюдение, которое предстоит классифицировать, и у положено равным 
Тогда критерий отношения правдоподобия может быть представлен в виде отношения
Нетрудно найти новые оценки (в них 
— традиционные оценки (2.2) и (2.3).)
Итак, в силу очевидных сокращений
Из-за того, что матрицы добавок к S в определении и 
имеют ранг 1, формула для 
может быть упрощена:
Можно доказать, что подстановочные алгоритмы с использованием пары (X, у) и без нее при оценке параметров асимптотически подобны и в традиционной асимптотике, и в асимптотике растущей размерности.
