ПОЛУЧЕНИЕ КОЭФФИЦИЕНТОВ КАНОНИЧЕСКОЙ ДИСКРИМИНАНТНОЙ ФУНКЦИИ

Рассмотрим основные принципы получения коэффициентов канонической дискриминантной функции. Полное представление математических аспектов этой проблемы не входит в нашу задачу. Оно приводится в нескольких монографиях по многомерной статистике, например в (Cooley and Lohnes, 1971). Начнем с того, что необходим некий статистический метод для измерения степени различий между объектами (наблюдениями). Таблица групповых средних и стандартных отклонений недостаточна, так как не учитывает зависимости между переменными. Однако можно воспользоваться матрицей сумм квадратов и попарных произведений Т, являющейся квадратной симметричной матрицей. Для пояснения происхождения матрицы Т введем следующие обозначения:

- число классов;

— число наблюдений в классе;

— общее число наблюдений по всем классам;

— величина переменной i для наблюдения в классе;

— средняя величина переменной i в k-м классе;

— среднее значение переменной i по всем классам (общее среднее).

Тогда элементы матрицы Т задаются соотношением

Выражения в скобках являются отклонениями значений переменных от общего среднего. Если , то сомножители равны, и получается средне-квадратичное отклонение. Таким образом, диагональные элементы представляют собой сумму квадратов отклонений от общего среднего. Они показывают, как ведут себя наблюдения по отдельной переменной. При получаем сумму произведений отклонения по одной переменной на отклонение по другой. В этом состоит один из способов измерения корреляций (ковариаций) между двумя переменными, так как он показывает, насколько хорошо большое отклонение по одной переменной согласуется с большим отклонением по другой. Рассматривая целиком всю матрицу, мы имеем полную информацию о распределении точек по пространству, определяемому переменными.

Если разделить каждый элемент Т на получим ковариационную матрицу. В дискриминантном анализе чаще используется непосредственно матрица Т, тем не менее в статистической литературе более распространена ковариационная матрица. Основываясь на наблюдениях, принадлежащих одному классу, можно вычислить ковариационные матрицы для него.

Степень зависимости двух переменных можно выяснить, исследуя их корреляцию. Для этого воспользуемся коэффициентом корреляции, поскольку он нормирован и принимает значения от —1 до +1. Можно легко преобразовать матрицу Т в матрицу коэффициентов корреляции, деля каждый элемент на квадратный корень произведения двух соответствующих диагональных элементов. (Те же результаты могут быть получены из ковариационной матрицы; см. работу (Cooley and Lohnes, 1971.) В табл. 2 представлены коэффициенты корреляции по данным Бардес.

Таблица 2. Общая корреляционная матрица

Как видим, несколько переменных сильно коррелированы. Другими словами, значение наблюдения по одной переменной может быть предсказано по значению, соответствующему другой переменной.

Если расположения классов действительно различаются (т. е. их центроиды не совпадают), то степень разброса наблюдений внутри классов будет меньше общего разброса.

Для измерения разброса внутри классов служит матрица W, которая отличается от Т только тем, что ее элементы определяются средними значениями переменных для отдельных классов, а не общими средними:

Если элементы матрицы W разделить на , получится внутригрупповая ковариационная матрица, она является взвешенным средним ковариационных матриц отдельных классов.

Матрицу W или внутригрупповую ковариационную матрицу легко преобразовать во внутригрупповую корреляционную матрицу, как это уже сказано по отношению общей корреляционной матрице. Каждый коэффициент корреляции является оценкой степени зависимости между соответствующей парой переменных внутри групп. Он обычно не совпадает с общей корреляцией, на величину которой сказываются межгрупповые различия. Если предположить, что наблюдения относятся к одной генеральной совокупности или к разным генеральным совокупностям, имеющим одинаковые статистические свойства, то в качестве оценок зависимостей между переменными предпочтительнее внутригрупповые корреляции, а не общие корреляции. В табл. 3 представлена матрица внутригрупповых корреляций для экспериментальных данных Бардес. Видно, что многие коэффициенты отличаются от значений, приведенных в табл. 2. Это обусловлено разбросом центроидов разных классов.

Таблица 3. Внутригрупповая корреляционная матрица

Когда центроиды различных классов совпадают, элементы матриц W и Т также будут равны (поскольку, тогда ). Если же центроиды у классов разные, элементы W будут меньше соответствующих элементов матрицы Т. Эта разница обозначается как матрица ).

Матрица В называется межгрупповой суммой квадратов отклонений и попарных произведений. Величины элементов В по отношению к величинам элементов W дают меру различия между группами, как это будет выяснено позже.

Матрицы W и В содержат всю основную информацию о зависимости внутри групп и между группами. С помощью некоторых вычислений можно получить функцию, удовлетворяющую требуемым свойствам. Во-первых, необходимо решить систему уравнений:

где — собственное число, а — последовательность коэффициентов.

Как уже говорилось, — элементы матриц В и W соответственно, которые получаются при обработке экспериментальных данных. Построение дискриминантной функции сводится к решению уравнений (4) относительно К и . Для получения единственно правильного решения дополнительно наложим условие, что сумма квадратов должна быть равна 1. Максимально существует q нетривиальных решений этих уравнений. Каждое решение, которое имеет свое собственное значение и свою последовательность соответствует одной канонической дискриминантной функции. Коэффициенты могут использоваться как коэффициенты требуемой дискриминантной функции:

Эти коэффициенты и требовалось определить в соотношении (1). Применение из (5) приводит величины (значения дискриминантной функции) к стандартной форме. Это означает, что соетветствующие дискриминантные значения по совокупности наблюдений (объектов) будут иметь нулевое среднее и единичное внутригрупповое стандартное отклонение. Значение дискриминантной функции для данного объекта представляет положение этого наблюдения на оси, определяемой данной функцией.