7.3. ПРЕОБРАЗОВАНИЯ КЛАСТЕРИЗАЦИИ И УПОРЯДОЧЕНИЕ ПРИЗНАКОВ

Не все измерения характеристик образа, соответствующие отдельным координатным осям в равной степени важны для определения класса, которому принадлежат сходные образы. При сопоставлении двух образов последовательным сравнением признаков измерениям с меньшей значимостью следует приписать меньшие веса. Назначение весов признаков можно осуществить посредством линейного преобразования, которое обеспечит более благоприятную группировку точек, представляющих образы, в новом пространстве.

Рассмотрим векторы образов которые после применения к ним преобразования перешли в векторы . В таком случае

где

причем элементы суть весовые коэффициенты.

Итак,

Каждый элемент преобразованного вектора образа представляет собой линейную комбинацию элементов исходного вектора образа. В новом пространстве евклидово расстояние между векторами определяется как

В тех случаях, когда линейное преобразование сводится к изменению масштабных коэффициентов координатных осей, матрица является диагональной, т. е. ее ненулевые элементы расположены только на главной диагонали. В таком случае выражение для евклидова расстояния сводится к

где элементы представляют весовые коэффициенты при признаках. Задача преобразования кластеризации заключается в том, чтобы определить весовые коэффициенты признаков минимизирующие расстояние между с учетом определенных ограничений, наложенных на коэффициенты тюкк.

Из материала предыдущего параграфа следует, что в новом пространстве внутреннее расстояние для множества точек, представляющих образы, определяется как

где — несмещенная оценка выборочной дисперсии компонент, соответствующих координатной оси При осуществлении процедуры минимизации будем рассматривать два случая.

Случай 1. Ограничение .

Минимизация при таком ограничении эквивалентна минимизации величины

Возьмем частную производную от но весовому коэффициенту и приравняем ее нулю. После проведения соответствующих упрощений получим

где — множитель Лагранжа, определяемый выражением

Итак, весовой коэффициент признака равен

Из (7.3.5) заключаем, что значения коэффициента малы, если дисперсия велика. Это означает, что при измерении расстояния малые веса следует приписывать признакам, которым свойственна значительная изменчивость. Если же, с другой стороны, дисперсия мала, то соответствующему признаку должен быть приписан существенный вес.

В данном случае преобразование кластеризации было осуществлено посредством «взвешивания» признаков. Интуитивно понятно, что малая дисперсия определяет большую надежность измерения, а большая дисперсия а? меньшую надежность измерения. Результатам более надежных измерений присваиваются большие веса.

Случай 2. Ограничение

Минимизация при таком ограничении эквивалентна минимизации выражения

Взяв частную производную от (7.3.8) по весовому коэффициенту и приравняв ее нулю, получим

где — множитель Лагранжа, определяемый выражением

Таким образом, весовой коэффициент признака определяется выражением

значение этого коэффициента обратно пропорционально среднеквадратичному отклонению измерения.

Формулы (7.3.7) и (7.3.11) определяют матрицу преобразования с учетом введенных выше ограничений. Если векторы образов переводятся из пространства X в пространство X с помощью преобразования

то внутреннее расстояние множества в пространстве X минимизируется. Теперь требуется провести второе преобразование

для того, чтобы выделить компоненты, имеющие малую (или большую) дисперсию, обеспечив таким образом возможность провести упорядочение и выбор признаков. Это преобразование превратит ковариационную матрицу точек, представляющих образы в пространстве X, в диагональную. Более того, матрица преобразования А должна быть ортонормированной для того, чтобы расстояния оставались неизменными.

Задача заключается в выражении матрицы А посредством собственных векторов известной ковариационной матрицы. Пусть С — ковариационная матрица для точек, представляющих образы в пространстве X, а — аналогичные ковариационные матрицы в пространствах X и X соответственно. Пусть — вектор математического ожидания точек, отвечающих образам в пространстве X, и — векторы математического ожидания в пространствах соответственно. В таком случае

и

где

В этом выражении Е — оператор математического ожидания. Ковариационная матрица в пространстве X определяется как

поскольку .

Подобным же образом можно легко показать, что

Так как матрица А — ортонормированная, то

В таком случае мы приходим к

это выражение представляет преобразование подобия.

Хорошо известно, что преобразование подобия дает диагональную матрицу С, если в качестве матрицы выбирается модальная матрица матрицы С, т. е. столбцами матрицы являются собственные векторы матрицы С либо строками матрицы А являются собственные векторы матрицы С. Итак, строками матрицы А являются собственные векторы матрицы Это преобразование, которое является скорее конгруэнтным, нежели преобразованием подобия, не позволяет легко выразить собственные векторы матрицы через собственные векторы матрицы С.

Пусть нормированные собственные векторы матрицы С и — соответствующие характеристические числа. Тогда

Матрица А выбирается так, чтобы

и так как собственные векторы образуют ортонормированное множество, то . В таком случае

Воспользовавшись уравнением (7.3.18), можно записать

так как при . Можно показать, что

Матрица А преобразует ковариационную матрицу С в диагональную, элементами которой являются несмещенные оценки выборочной дисперсии. Результаты измерений, которым соответствуют малые дисперсии, более надежны и могут считаться более существенными признаками.

Описанная процедура исследования ковариационной матрицы не позволяет связать простой зависимостью собственные векторы матрицы с собственными векторами исходной ковариационной матрицы С. Можно, однако, найти простое выражение, связывающее строки матрицы А с элементами исходной ковариационной матрицы, если обратить последовательность операций Выбирается ортонормированная матрица А, строки которой являются собственными векторами ковариационной матрицы С. Матрица А преобразует матрицу С в диагональную матрицу С. Затем от матрицы преобразования требуется, чтобы она была диагональной и минимизировала внутримножественное расстояние в пространстве X с учетом заданного ограничения. Если выбрано ограничение

то

где элементы ковариационной матрицы С, приведенной к диагональному виду:

Ковариационная матрица после преобразования кластеризации будет иметь вид

Так как все матрицы и — диагональные, а произведением диагональных матриц всегда будет диагональная матрица, то очевидно, что, как и требовалось, матрица С — диагональная.

Соотношения среднеквадратичного расстояния и отношения правдоподобия

Здесь устанавливается связь между отношением правдоподобия, рассмотренным в гл. 4, и среднеквадратичным расстоянием; для этого используются преобразования, описанные выше. Рассмотрим плотность нормального распределения

где С — ковариационная матрица, — вектор математического ожидания для класса образов в пространстве X. Отметим, что кривые равной вероятности соответствуют тем значениям при которых значение аргумента показательной функции остается постоянным.

Для исследования ковариационной матрицы осуществляется ортонормирующее преобразование

где строками матрицы А служат нормированные собственные векторы ковариационной матрицы С. Это преобразование облегчает установление связи между отношением правдоподобия и среднеквадратичным расстоянием. После преобразования вектор математического ожидания и ковариационная матрица определяются как

и

соответственно.

Пусть собственные векторы матрицы — соответствующие характеристические числа. В таком случае, согласно (7.3.27), имеем

На основе формул (7.3.27) и (7.3.28) получаем

и

Итак, плотность распределения в пространстве X определяется выражением

Это выражение для плотности распределения показывает, что кривыми равной вероятности являются эллипсоиды с центрами в точке т. Направления главных осей совпадают с собственными векторами ковариационной матрицы, а диаметры пропорциональны квадратному корню от соответствующих характеристических чисел или среднеквадратичных отклонений, поскольку Это становится более очевидным после разложения показательной функции:

где — координата вектора соответствующая собственному вектору, — среднее всех значений координат, соответствующих этому собственному вектору

Среднеквадратичное расстояние, отделяющее точку — произвольный образ — от множества точек (образов) определяется как

Усреднение проводится но всем точкам, входящим в заданное множество. В первую очередь осуществляется преобразование оргонормировки, причем собственные векторы ковариационной

матрицы становятся строками матрицы А:

поскольку А — ортоиормироваиная матрица и Расстояние при выполнении этого преобразования остается неизменным.

При выполнении преобразования кластеризации

среднеквадратичное расстояние принимает вид

Выбранная матрица является диагональной, и ее элементы равны величинам, обратным среднеквадратичным отклонениям координат образов множества соответствующих отдельным собственным векторам. Было показано, что преобразование такого вида минимизирует внутреннее расстояние множества образов.

Матрица — диагональная, и ее элементы равны величинам, обратным дисперсиям координат образов множества Так как эти дисперсии суть соответствующие характеристические числа, т. е. , получаем

Следовательно, среднеквадратичное расстояние определяется выражением

которое после выполнения соответствующих операций можно представить в виде

Поскольку усреднение проводится по всем точкам множества образов, оно не зависит от процесса суммирования. Поэтому

(7.3.39) можно привести к

где

то формула (7.3.40) превращается в

В таком случае, если опустить константу среднеквадратичное расстояние для класса определяется выражением

и, аналогичным образом, среднеквадратичное расстояние для класса — выражением

Исходя из принципа расстояния, решающее правило можно сформулировать в таком виде: в том и только том случае, если

Для образов, подчиняющихся нормальному распределению, плотность распределения или функция правдоподобия для класса определяется как

После осуществления ортонормирующего преобразования выражение (7.3.45) принимает вид

Точно так же для класса находим плотность распределения

Если мы прологарифмируем и опустим постоянные члены, то получим решающие функции

и

В таком случае решающее правило, основанное на этих двух функциях, гласит, что тогда и только тогда, когда , где — пороговая величина.

На основе проведенного анализа можно сделать вывод о том, что аппроксимация заданных выборок наблюдений для классов образов плотностями нормального распределения эквивалентна нахождению среднеквадратичных расстояний для соответствующих классов после осуществления преобразования кластеризации над пространством измерений.