4.2.1. Многомерное нормальное распределение

Этот случай мы рассмотрим как пример применения метода статистической классификации. В основном мы будем следовать работе Тацуоки (1970). Хотя данный пример обсуждается главным образом для того, чтобы проиллюстрировать метод статистической классификации, он интересен и сам по себе, так как предположение о многомерном нормальном распределении часто можно оправдать следующими логическими соображениями. Допустим, что для каждого класса существует идеальный, или типичный объект. Пусть — его вектор измерений (в шкале интервалов). Таким образом, определяет точку в пространстве описаний, описывающую идеальный член некоторого класса. Реальный объект, выбранный из этого класса, будет иметь описание х, не обязательно совпадающее с Разумно было бы предположить, что любое отклонение х от происходит из-за накопления небольших независимых отклонений каждого из измерений. В упоминавшемся примере с баскетболистами и футболистами, скажем, можно предположить, что существует идеальный „тип баскетболиста, но любой конкретный игрок случайным образом отличается от этого типа по росту и весу. Отметим, что отклонения по каждому измерению могут коррелировать друг с другом; например, если игрок выше обычного, он, по-видимому, будет и тяжелее. В том методе классификации, который мы собираемся изложить, такие корреляции в отклонениях от идеального типа учитываются.

В любом случае, если наши данные порождаются указанным выше образом, то наблюдения в пределах каждого класса будут иметь многомерное нормальное распределение с центром в точке (в пространстве описаний

Как обычно, нужны некоторые специальные определения. Для каждого класса определим следующие параметры:

Роль вектора представляющего „идеальное" описание, играет вектор средних значений измерений объектов в выборке из класса

Матрица дисперсий для класса представляет собой -матрицу

Поскольку предполагается, что каждое измерение коррелирует само с собой, то диагональные элементы матрицы — это просто т. е. они являются дисперсиями измерений, произведенных в классе

Для простоты записи исследуем подробно только случай, в котором матрицы дисперсий для всех классов одинаковы. Это позволит рассматривать одну матрицу дисперсий 2 с соответствующими элементами. Для каждого класса и для каждой точки определим величину

где — соответственно исходный вектор-столбец и транспонированный. Многомерная нормальная функция плотности вероятности в пространстве для класса имеет вид

где — определитель матрицы 2. Пусть с будет ценой ошибочной классификации члена класса Потери вследствие ошибочной классификации, заключающейся в отнесении х к некоторой области равны

Значение функции (33) будет минимальным, если область выбрать так, чтобы для всех и всех выполнялось неравенство

Оно эквивалентно неравенству

Подставляя сюда выражение для многомерного нормального распределения, находим

После логарифмирования и простой перегруппировки членов получаем

Правая часть в (37) не зависит от обозначим ее Величины же зависят от х. Таким образом, правило классификации образов гласит:

точку х следует отнести к области если множество значений соответствующее х, удовлетворяет неравенству

Полезно изобразить этот многомерный случай на рисунке. Для простоты рассмотрим два измерения, так что пространство описаний будет плоскостью. Это не ограничит общности рассуждений. Плотность вероятности для класса в любой точке плоскости можно представить отметкой высоты в направлении, перпендикулярном плоскости. Каждый класс определяет „холм плотности", основание которого лежит на этой плоскости. Однако в противоположность настоящим холмам „холмы плотности" для различных классов могут перекрываться. Можно изобразить каждый холм, нарисовав линии одинаковой плотности, подобные контурным линиям на топографической карте. Для всех точек на такой линии вероятности принадлежать одному и тому же классу равны и зависят как от абсолютной частоты класса, так и от относительной частоты элементов данного класса в рассматриваемой точке. Плотность для класса в точке х равна

Предположение о многомерном нормальном распределении приводит к тому, что линии одинаковой плотности являются эллипсами с центрами в точке Попутно заметим, что будет к тому же точкой максимальной плотности, т. е. вырожденным эллипсом, а плотность для рассматриваемой линии будет непосредственно зависеть от наименьшего расстояния этой линии до Таким образом, каждая линия одинаковой плотности будет окружать все линии с большей плотностью и будет окружена в свою очередь линиями с меньшей плотностью. Начертив эллипсы, соответствующие нескольким плотностям, мы получим картину относительного расположения распределений для разных классов. На рис. 4.3 показан случай двух классов. Отметим, что холмы плотностей для двух классов на этом рисунке ориентированы одинаково, хотя размеры их различны. Это вытекает из предположения о равенстве матриц дисперсий для всех классов, поскольку именно матрицы дисперсий определяют ориентацию эллипсов. Если бы матрицы дисперсий были неодинаковыми, то

(кликните для просмотра скана)

различные холмы плотностей могли бы быть ориентированы произвольным образом относительно друг друга. На рис. 4.4 показаны три холма плотностей с многомерным нормальным распределением, имеющие каждый свою матрицу дисперсий.

Границу между областями образуют точки, которые можно отнести или к классу или к классу не изменив потери, вызванные ошибочной классификацией, т. е. точки, для которых неравенство (38) превращается в равенство. Можно доказать, что граница всегда будет гиперплоскостью (имеющей размерность на единицу, меньшую размерности пространства). Таким образом, в двумерном случае области граничат по прямым линиям. Далее, можно доказать, что граничная гиперплоскость будет всегда перпендикулярна прямой, соединяющей центры распределений, т. е. точки в пространстве описаний. Точка, в которой гиперплоскость пересекает эту прямую, будет зависеть от относительной частоты каждого класса и цены ошибочной классификации. Эта зависимость отражена в значении постоянной (неравенство Поскольку этим значением можно управлять, меняя цену ошибочной классификации или частоту класса (и при этом не трогая функцию плотности вероятности внутри класса), то можно подобрать такое расположение гиперплоскостей, что „типичный" член класса (точка ) заведомо попадет в область Это математическое объяснение неформального вывода, полученного при обсуждении примера психиатрического обследования.

Стоит обсудить еще две характеристики областей классификации. Ясно, что если существует классов, то каждая область может ограничиваться не более гиперплоскостями. Она может ограничиваться и меньшим их числом. В самом деле, область не обязана быть замкнутой (рис. 4.4). И наконец, возможен класс, для которого нет соответствующей области. В этом случае, конечно, никакое измерение нельзя будет отнести к данному классу.