17.3. Алгоритмы оцифровки неколичественных переменных

Общие принципы. Пусть имеется матрица данных X из и -мерных объектов, у которых все или часть признаков измерены в какой-либо неколичественной шкале — шкале порядка, номинальной и т.д.

Рассмотрим подход, позволяющий распространить на данные такого вида методы многомерного статистического анализа: анализа главных компонент, регрессионного, дискриминантного, кластер-анализа и т. д. Суть подхода заключается в оцифровке неколичественных переменных, т. е. в присвоении категориям неколичественных переменных «разумных», в рамках решаемой задачи, числовых меток. Этот же подход пригоден и для преобразования количественных переменных, которые предварительно подвергаются квантованию, и для анализа переменных смешанной природы. Метод приписывания меток для случая только неколичественных переменных приведен в ПО, гл. 12]. Здесь формулируются критерии, подходящие для оцифровки с дальнейшим использованием преобразованной матрицы в различных видах анализа, а метод из [10, гл. 12] обобщается на случай данных смешанной природы.

Критерии, на основе которых производится присвоение числовых меток, зависят от используемого метода статистического анализа. Однако все они представляют собой некоторые функционалы матрицы ковариаций (корреляций) в пространстве оцифрованных признаков. Это связано прежде всего с тем, что матрица ковариаций (корреляций) является основным объектом, который используется методами статистического анализа.

Введем теперь некоторые очевидные требования, которым должны удовлетворять наборы числовых меток, получаемые в результате работы процедуры оцифровки. Пусть — некоторый неколичественный признак из матрицы данных X, имеющий градаций (категорий) значений. Пусть каждой из градаций присвоена числовая метка Поскольку корреляции между признаком и другими признаками не зависят от преобразования сдвига и масштабирования меток, потребуем выполнения условий центрированности и нормировки

где — номер градации признака для объекта.

Пусть теперь — частота градации признака х у объектов из X. Тогда условия (17.30) можно эквивалентным образом записать в виде

Выполнение условий, (17.30), (17.30') гарантирует, в частности, от появления тривиальных наборов меток, когда числовые метки, присваиваемые градациям признака одинаковы.

Оцифровка для сокращения размерностей, статистического исследования зависимостей, кластер-анализа. В этом случае категориям неколичесгвенных признаков приписываются числовые метки, удовлетворяющие условиям (17.30) и максимизирующие величину

(17.31)

где — число признаков; -коэффициенты корреляции между признаками после кодировки.

Пусть теперь множество переменных разбито на две группы — группу из q переменных, подлежащих кодировке (оцифровке), и группу из переменных, для которых сохраняется исходная шкала (или исходные значения меток). В частности, в группе могут быть переменные, измеренные и в количественной шкале. Для определенности будем считать, что признаки пронумерованы так, что в входят признаки — при знаки

Критерий может быть представлен в виде суммы трех слагаемых: где — сумма квадратов коэффициентов корреляции переменных из — сумма квадратов коэффициентов корреляции между переменными из — сумма квадратов коэффициентов корреляции между переменными из Величина слагаемого не зависит от кодировки, поэтому определение оптимальных меток будем проводить исходя из условия максимума критерия -Приведем теперь формулы для вычисления оценок коэффициентов корреляции, входящих в состав сумм Пусть признаки и пусть — число категорий признака Тогда, если выполнены условия нормировки (17.30), получаем, что

где — вектор числовых меток для категорий признака

— нормированная таблица сопряженности

размера между признаками

(см. 17.1.1).

Пусть теперь признак и пусть предварительно признак нормирован и центрирован.

Тогда где — частота появления градации признака — среднее значение признака на множестве объектов с категорией признака Для каждого признака введем симметричную неотрицательно определенную матрицу такую, чтобы удовлетворялось равенство Непосредственным дифференцированием получаем, что

Вычислительная процедура. Числовые метки, максимизирующие величину критерия находятся в результате итерационного процесса, аналогичного описанному в [11, гл. 12].

Пример 17.4. [66] Рассмотрим применение метода оцифровки по критерию (17.31) к данным табл. 17.2, представляющей результаты наблюдения за 12 посетителями кафе (пример условный). Переменные имеют следующий смысл: — сумма, затраченная посетителем, ден. — время, проведенное посетителем в кафе,

—соответственно закуска, блюдо и напиток, выбранные посетителем.

Таблица 17.2

Переменные — количественные, а — номинальные категоризованные, переменная имеет три, а — по четыре градации.

Возможно использование переменных, которые не будут подвергаться оцифровке, но их вклад в критерий (17.31) будет учитываться, В данном примере это количественные переменные Ниже приводятся результаты применения оцифровки процедуры.

МАТРИЦА КОРРЕЛЯЦИЙ ДО ПРЕОБРАЗОВАНИЯ

СУММА КВАДРАТОВ КОЭФФИЦИЕНТОВ КОРРЕЛЯЦИИ 2.0191

МАТРИЦА КОРРЕЛЯЦИЙ ПОСЛЕ ПРЕОБРАЗОВАНИЯ

СУММА КВАДРАТОВ КОЭФФИЦИЕНТОВ КОРРЕЛЯЦИИ 4.8241

ТАБЛИЦА НАЙДЕННЫХ МЕТОК

Из сравнения матриц корреляций до и после оцифровки следует, что после оцифровки значения некоторых коэффициентов корреляции значительно возросли по абсолютной величине. Так, величина до оцифровки была 0.0067, а после оцифровки стала равной —0.7319.

Оцифровка для линейного дискриминантного анализа. Для задач классификации оцифровка иеколичественных признаков производится по критерию, предложенному в 1681. Этот критерий построен на том, что основной информацией, которую используют линейные дискриминантные функции для классификации, являются различия средних значений признаков в разных классах, измеренные в единицах дисперсии (см. гл. 1). Другие компоненты информации о различиях между распределениями классов используются линейной дискриминантной функцией в меньшей степени. Исходя их этого в качестве набора числовых меток для категорий некоторого признака примем числа, максимизирующие сумму оценок квадратов расстояний Махаланобиса от общего центра тяжести по признаку до центров классов по этому же признаку

(17.32)

где — вероятность появления объектов из класса; k — число классов; — усредненная дисперсия.

Введем в рассмотрение таблицу сопряженности F, столбцы которой соответствуют категориям классификационной неременной, а строки — категориям признака

Элемент является, таким образом, вероятностью появления категории переменной классе. (В реальной ситуации мы обычно имеем дело с обучающими выборками, и поэтому вместо частот известны лишь их оценки — частоты категории i в классе

Теперь величины , входящие в (17.32), можно представить в следующем виде:

Вводя матрицы

мы можем записать

В новых обозначениях критерий (17.32) можно записать в виде

Очевидно, задача поиска максимума инвариантна относительно преобразований сдвига и масштаба координат

С, а потому может быть сведена к задаче на условный экстремум

(17.34)

при условиях что приводит в результате к обобщенной задаче на собственные числа

(17.35)

Но эта задача эквивалентна рассмотренной в п. 17.1.2 задаче на собственные числа с переходом . При этом, чтобы удовлетворить условиям (17.34), мы должны взять собственный вектор, соответствующий второму по величине собственному числу (см. п. 17.1.2). Итак, мы снова пришли к каноническим меткам. Величина собственного числа связана с отношением выражением

(17.36)

Как показано в гл. 2, при объемах выборки, сравнимых с числом переменных и числом градаций применение процедуры оцифровки следует проводить с осторожностью. В частности, целесообразно оцифровывать те признаки, для которых значение статистически высоко значимо. Приведем один из полезных критериев, для определения допустимости оцифровки, основанный на асимптотическом распределении выборочных собственных чисел . Оказывается (см. [263, 265, 287]), имеет место следующий результат.

Пусть таблица сопряженностей F с строками и столбцами удовлетворяет условию независимости, т. е. собственные числа канонических уравнений — (существует только тривиальный набор меток для выборочные числа для F асимптотически распределены как собственные числа матрицы, подчиненной распределению Уишарта [16] , где — единичная матрица размерности

Теперь для построения критерия можно воспользоваться, например, результатами по распределению максимального собственного числа матрицы Уишарта [241] в асимптотике Колмогорова (см. гл. 2).

Используя эти результаты, получаем, что при значение почти наверное сходится к величине , где

Это приводит к следующей формулировке критерия — переменную следует использовать для линейной классификации в оцифрованном виде, если после оцифровки величина будет удовлетворять неравенству

(17.37)

где

В случае, когда следует поменять местами k и в (17.37).