10.2. ФОРМАЛИЗАЦИЯ ЗАДАЧИ

Здесь мы предлагаем метод, позволяющий обнаруживать К локальных режимов регрессии и К связанных с ними гиперплоскостей, построенных из условия минимума критерия, измеряющего неадекватность подвыборок их линейным представлениям. Напомним сначала классические результаты регрессии и введем понятие псевдообращения.

10.2.1. Необходимые теоретические факты и псевдообращение

Обычно модель линейной множественной регрессии с переменными и индивидуумами записывается в виде

где или в матричной форме:

где -вектор, -матрица, -вектор, -вектор, -нулевой вектор.

Обыкновенный метод наименьших квадратов состоит в том, что в качестве оценки вектора выбирают вектор, доставляющий минимум сумме квадратов невязок между наблюдаемыми значениями и подогнанными значениями зависимой переменной, что записывается так:

или в матричной форме:

Условия первого порядка выражаются в виде

Эти условия определяют нормальные уравнения: Условия второго порядка приводят к неотрицательно определенной квадратичной форме:

и гарантируют нам единственный минимум, если матрица положительно определена. В противном случае система нормальных уравнений допускает по крайней мере одно решение (и, следовательно, бесконечно много), причем каждое решение дает одно и то же минимальное значение

Итак, возможны два случая:

обратима и хорошо обусловлена,

плохо обусловлена или необратима.

В первом случае получаем классический результат:

Во втором случае (случай мультиколлинеарности, неортогональные переменные и т. п.) мы должны ввести понятие обобщенного обращения.

Определение 1. Пусть -матрица ранга Матрицу размера называют псевдообратной к матрице если

Мы сейчас покажем, что такая матрица всегда существует. Рассмотрим матрицу Она является квадратной, размера симметричной, имеющей ранг и неотрицательно определенной. Следовательно, ее можно диагонализовать, и так как у нее положительных собственных значений и нулевых, то существует ортогональная матрица такая, что

где матрица и — матрица Представим в блочном виде: где мтрица размера матрица размера

Из ортогональности матрицы получим

откуда

Кроме того,

откуда

Так как из последнего равенства получаем Следовательно,

а так как

то

Лемма. Матрица является псевдообратной к матрице А.

Доказательство.

Таким образом, для каждой матрицы А существует псевдообратная матрица. Покажем теперь, что псевдообратная матрица к вообще говоря, не единственна.

Предложение 1. Пусть некоторая псевдообратная матрица к матрице А. Тогда для любой матрицы В размера матрица снова является псевдообратной к А.

Доказательство. Зная, что достаточно проверить, что

В самом деле, раскрывая скобки, получим

Предложение 2. Пусть две псевдообратные матрицы к матрице тогда существует матрица В размера такая, что

Доказательство. Помня, что выбираем и проверяем, что

Таким образом, не только доказано существование псевдообратной матрицы, но и описана вся совокупность (вообще говоря, бесконечная) псевдообратных матриц. Очевидно, что если матрица А обратима, то является единственной псевдообратной к А.

Применение к линейным системам. Пусть имеется система

ранга где -матрица, -вектор, -вектор.

Определение 2. Говорят, что система совместна, если для заданных она допускает по крайней мере одно решение

Предложение 3. Для совместности системы необходимо и достаточно

Доказательство. Необходимость. Если существует решение т. е. то для каждой псевдообратной матрицы имеем

Достаточность. Пусть некоторая псевдообратная матрица к матрице такая, что Тогда является решением системы, и, следовательно, система совместна.

Предложение 4. Если система совместна, то ее общее решение имеет вид

Доказательство. Нужно показать, что если то

1) вектор таков, что это получается сразу, поскольку

2) такого, что существуют такие, что Достаточно положить и взять любую псевдообратную матрицу

Для регрессионной модели получим

Определение 3. Напомним несколько результатов и статистических критериев, позволяющих судить о значимости регрессии.

В случае когда модель содержит постоянный член (одна из объясняющих переменных постоянна равна 1 на всей выборке), адекватность модели выборке измеряют с помощью коэффициента детерминации

где

В случае когда модель не содержит константы (это ограничение, требующее, чтобы гиперплоскость регрессии проходила через начало координат), адекватность измеряют величиной

Оценка имеет вид (несмещенная оценка). Матрица ковариаций вектора равна:

и, следовательно, если существует. В 10.3 мы приведем выражение для матрицы ковариаций в случае, когда не существует или когда матрица плохо обусловлена.

Приведенные выше результаты будут применяться для каждого подмножества наблюдений, полученного после разбиения всего множества наблюдений на К классов.

10.2.2. Пространство представительств

Пусть множество наблюдений. Данные представляются в виде массива из строк и столбцов, где столбец — это один из n-мерных векторов элементом множества наблюдений считается -мерный вектор

Здесь объясняющих переменных; у — переменная, которую надо объяснить.

Определение 4. Назовем пространством представительств множество векторов где

Пространство можно отождествить с Назовем пространством разбиений совокупность разбиений множества всех наблюдений самое большее на К классов.

Положим и и обозначим через строку массива являющуюся -мерным вектором. Тогда имеем

Здесь -матрица, представляющая собой ограничение на класс таблицы всех данных.

10.2.3. Оптимизируемый критерий

Алгоритм состоит в одновременном поиске разбиения на К классов множества наблюдений и К гиперплоскостей регрессии, связанных с этим разбиением таким образом, что минимизируется критерий:

Минимизируют сумму квадратов остатков, связанных с разбиением множества из наблюдений на К классов. Нужно найти пару такую, что