10.6. Метод отображения по методу наименьших квадратов

При обсуждении классификаторов, работающих по критерию наименьшего расстояния, предполагалось, что классы образов в пространстве признаков группируются вокруг соответствующих им средних . Однако во многих случаях такое предположение не всегда является обоснованным. При этом классификатор должен в первую очередь отображать образы в пространство решений, в котором образы, принадлежащие , обязательно группируются вокруг заранее выбранной точки . Преобразование А, которое позволяет осуществлять это отображение из пространства признаков в пространство решений, в общем случае выбирается таким, чтобы общая среднеквадратичная ошибка отображения была минимальной.

Для классификации некоторого образа этот образ сначала отображается в пространство решений, а затем классифицируется как принадлежащий , если он отображен ближе к точке . Классификатор такого типа относится к классификаторам с минимальным среднеквадратичным расстоянием, которые будут подробно рассмотрены в § 10.8. Введем отображение по методу наименьших квадратов, на котором основываются классификаторы с минимальным среднеквадратичным расстоянием.

Рассмотрим множество -мерных образов , которые должны отображаться в определенную точку в -мерном пространстве, обозначаемую . Найдем преобразование А, которое отображает в таким образом, чтобы общая среднеквадратичная ошибка, вызываемая отображением, была минимальной. Обозначим результат отображения образа через . Тогда соответствующий вектор ошибки равен

(10.6.1)

Из выражения (10.6.1) следует, что общая среднеквадратичная ошибка при отображении и определяется как

Подстановка (10.6.1) в (10.6.2) приводит к

(10.6.3)

Так как А должно быть выбрано так, чтобы е было минимальным, то оно получается в результате решения уравнения , что приводит к

(10.6.4)

Из выражений (8.1.3), (8.1.7) и (8.1.8) следует, что

Применение приведенных выше тождеств к выражению (10.6.4) приводит к

что позволяет определить А как

(10.6.6)

Рассмотрим пример. Пусть множество вид

что соответствует . Пусть . Тогда

(10.6.7)

Подстановка выражений (10.6.7) в уравнение (10.6.6) дает

(10.6.8)

Вычислим

Множество образов и показано на рис. 10.12.

Рис. 10.12. Отображение по методу наименьших квадратов