4.11. МНОЖЕСТВЕННЫЙ ДИСКРИМИНАНТНЫЙ АНАЛИЗ

Для задачи с с классами естественное обобщение линейного дискриминанта Фишера включает разделяющих функций. Таким образом, проекция будет из -мерного пространства на -мерное пространство, причем принимается, что Обобщение для матрицы разброса внутри класса очевидное:

где, как и прежде,

и

Соответствующее обобщение для S не так очевидно. Предположим, что мы определяем полный вектор средних значений m и полную матрицу разброса S посредством

и

Отсюда следует, что

Естественно определять этот второй член как матрицу разброса между классами, так что полный разброс есть сумма разброса внутри

класса и разброса между классами:

и

В случае с двумя классами мы обнаружим, что полученная в результате матрица разброса между классами будет в раз больше нашего предыдущего определения. Мы могли бы переопределить S для случая с двумя классами, чтобы добиться полного согласования, но вспомнив замечание Эмерсона о том, что бессмысленное согласование — идол недалеких умов, пойдем дальше.

Проекция из -мерного пространства в -мерное пространство осуществляется с помощью разделяющих функций

Если считать составляющими вектора у, а векторы весовых функций W; столбцами матрицы W размера то проекцию можно записать в виде одного матричного уравнения

Выборки проецируются на соответствующее множество выборок которые можно описать с помощью их векторов средних значений и матриц разброса. Так, если мы определяем

и

то можно непосредственно получить

Эти уравнения показывают, как матрицы разброса внутри класса и между классами отображаются посредством проекции в пространство меньшей размерности. Мы ищем матрицу отображения

которая в некотором смысле максимизирует отношение разброса между классами к разбросу внутри класса. Простым скалярным показателем разброса является определитель матрицы разброса. Определитель есть произведение собственных значений, а следовательно, и произведение «дисперсий» в основных направлениях, измеряющее объем гиперэллипсоида разброса. Пользуясь этим показателем, получим функцию критерия

Задача нахождения прямоугольной матрицы W, которая максимизирует J, не из легких. К счастью, оказывается, что ее решение имеет относительно простой вид . Столбцы оптимальной матрицы W являются обобщенными собственными векторами, соответствующими наибольшим собственным значениям в

Следует сделать несколько замечаний относительно этого решения. Во-первых, если — невырожденная матрица, то задачу, как и прежде, можно свести к обычной задаче определения собственного значения. Однако в действительности это нежелательно, так как при этом потребуется ненужное вычисление матрицы, обратной Вместо этого можно найти собственные значения как корни характеристического полинома

а затем решить

непосредственно для собственных векторов Поскольку S является суммой с матриц ранга единица или менее и поскольку только из них независимые матрицы, S имеет ранг или меньше. Так что не более собственных значений не нули и искомые векторы весовых функций соответствуют этим ненулевым собственным значениям. Если разброс внутри класса изотропный, собственные векторы будут просто собственными векторами матрицы S, а собственные векторы с ненулевыми собственными значениями стягивают пространство, натянутое на векторы . В этом частном случае столбцы матрицы W можно найти, просто применяя процедуру ортонормирования Грама — Шмидта к векторам Наконец, заметим, что, вообще говоря, решение для W не является однозначным. Допустимые преобразования включают вращение и масштабирование осей различными путями. Это все линейные преобразования из -мерного пространства в -мерное пространство, и они

не меняют значительно положения вещей. В частности, они оставляют функцию критерия инвариантной.

Как и в случае с двумя классами, множественный дискриминантный анализ в первую очередь позволяет сократить размерность задачи. Параметрические или непараметрические методы, которые могут не сработать в первоначальном (многомерном) пространстве, могут хорошо действовать в пространстве меньшей размерности. В частности, можно будет оценить отдельные ковариационные матрицы для каждого класса и использовать допущение об общем многомерном нормальном распределении после преобразования, что было невозможно сделать с первоначальными данными. Вообще преобразование влечет за собой некоторое ненужное перемешивание данных и повышает теоретически достижимый уровень ошибки, а проблема классификации данных все еще ортается. Существуют другие пути уменьшения размерности данных, и мы вернемся к этой теме в гл. 6. Существуют также другие методы дискриминантного анализа; некоторые из них упоминаются в литературе к этой главе. Одним из самых фундаментальных и наиболее широко используемых методов все же остается метод Фишера.