6.7. Оценка Марквардта

Д. Марквардтом [159] предложены более общие оценки, чем рассмотренные выше. На практике матрица всегда имеет полный ранг поскольку несет на себе ошибки измерения. Другими словами, значение может быть очень малым, но все-таки отличным от нуля. По Марквардту очень малые значения можно считать результатом случайных помех, поэтому их необходимо приравнивать к нулю.

Итак, пусть характеристические числа матрицы ортогональная матрица, составленная из матрицы Марквардт предлагает считать если где достаточно малое наперед выбранное число. В частности, первые можно взять равными нулю, если

где может колебаться от до (Марквардт предлагает выбирать в окрестности Если считать первые характеристических чисел матрицы равными нулю, то Обратная матрица для не существует, однако можно найти обобщенную обратную.

Как следует из параграфа 6.2, обобщенная обратная матрица к равна:

где

элемент матрицы равен

Далее Марквардт вводит понятие обратной матрицы с дробным рангом. Определим сначала обратную матрицу к диагональной матрице с дробным рангом Итак, пусть обозначим целая часть дробная часть. Зададим для любого действительного следующим образом:

Разница в (6.57) и (6.58) заключается в том, что мы вводим в (6.58) член с коэффициентом, равным дробной части Под обратной матрицей к с приписываемым дробным рангом будем понимать (6.56), где задается (6.58). Очевидно, в этом случае

Оценка Марквардта есть функция выбранного ранга и равна:

Оценкой а для исходной модели (1.2) является

Между оценкой Марквардта и оценкой метода главных компонент существует тесная взаимосвязь.

Теорема 6.5. Если целое, то оценки совпадают, в противном случае первая оценка выражается через вторую следующим образом:

Доказательство. Сначала проведем его для ортогонализованной модели где т. е. докажем

По определению

Покоординатно расписывая правую часть (6.61), придем к выражению, которое и необходимо было доказать. Поскольку оценки совпали для ортогонализованной модели, то они совпадут и для исходной модели (1.2).

Как следует из доказанной теоремы, оценки Марквардта лежат на отрезке, соединяющем оценки главных компонент ближайших рангов На рис. 6.10 оценки Марквардта лежат на отрезке

Приведем основные свойства оценки Марквардта.

1. Квадрат длины оценки (6.61) есть возрастающая функция т. е. растет с ростом

2. Оценка (6.60) есть линейная функция оценки МНК:

3. Оценка (6,60) смещена:

матрица ковариаций оценки Марквардта равна:

4. Аналогично ридж-оценке можно найти среднюю сумму квадратов ошибок оценки (6.60):

где

Аналогичное выражение может быть получено и для используя его, найдем Таким образом, если, как и раньше, положить получим

Далее, матрицы и имеют одинаковые х. в., поэтому, по лемме 6.1

Окончательно средняя сумма квадратов ошибок оценки Марквардта равна:

Основное достоинство оценки Марквардта содержится в следующей теореме.

Теорема 6.6 [159]. Если то средняя сумма квадратов ошибок для оценки МНК.

Доказательство несложно:

Но

Поэтому если условие теоремы выполнено, то

Доказанная теорема показывает, что в некоторой области оценки Марквардта будут лучше оценок МНК. Если некоторые характеристические числа матрицы близки к нулю, то эта область будет значительной; другими словами, при наличии мультиколлинеарности оценки Марквардта, весьма вероятно, будут лучше оценок МНК. Для задания области можно привлечь некоторые априорные знания о возможных значениях Так, вполне возможно, что имеет смысл оценивать только в некотором интервале Далее, можно предположить, что а точности «измерения» поэтому можно считать

Теперь, если найдено такое что то можно утверждать, что, если наши априорные предположения верны, оценка будет лучше оценки МНК. Оценка для может быть получена также на основе равенства

откуда

В качестве оценки можно взять просто Если то неравенство (6.62) даст приемлемую область для . В качестве оценки может быть выбрана рассчитанная на основе МНК.

Найдем оценку Марквардта для регрессии-примера. В табл. 6.3 приводятся матрицы при этом Полученные характеристики матрицы говорят о наличии мультиколлинеарности. Далее, поэтому можно предположить, что ранг равен 3, т. е. считать равным нулю.

Таблица 6.3 (см. скан)

Используя формулу (6.56), находим

Оценка Марквардта равна:

оценка исходной модели:

Оценка Марквардта с приписанным рангом 3 значительно отличается от оценки МНК.

Подойдем к проблеме смещенного оценивания регрессии с более общих позиций [127]. Как и прежде, остановимся на ортогонализованной модели где по определению диагональная матрица с диагональными элементами Оценка МНК для этой модели равна где т. е.

Для ортогонализованной модели рассмотрим систему оценок метода главных компонентgp . Эта система оценок почти наверное линейно-независима в поэтому любая оценка представима в виде линейной комбинации оценок метода главных компонент, а именно:

Зависимость (6.63) может быть переписана следующим образом:

где диагональная матрица, причем

оценка МНК. Для оценки (6.64) легко найти среднюю сумму квадратов ошибок

и среднюю взвешенную сумму квадратов ошибок

Очевидно, оценка Марквардта представима как в виде (6.63), так и в виде (6.67). Применяя теорему 6.4, находим, что

В обозначениях матрицы коэффициенты равны:

Функция (6.66) для оценки перепишется следующим образом:

Выражение (6.68) может быть использовано для нахождения оптимального ранга Допустим, целая часть известна и необходимо найти только дробную часть

9. Минимизируя (6.68) относительно 0, найдем оптимальное значение

После того как дробная часть найдена, займемся отысканием оптимальной целой части Для этого подставим в (6.68). После несложных преобразований получим

где средняя сумма квадратов для оценки МНК g. Как видно из (6.70), уменьшение средней суммы квадратов ошибок оценки Марквардта зависит от значений Если т. е. выражение в квадратных скобках (6.70) будет положительным, значит, лучше оценки МНК. Однако гарантий того, что нас нет, поскольку порядок возрастания не совпадает, вообще говоря, с порядком возрастания Если же расположить в порядке возрастания то оптимальный целый ранг будет равен числу меньших 1 (если, конечно, таковые существуют). Другими словами, для номеров будем считать Этот метод предложен в [127], назовем его модифицированным методом Марквардта.

Разумеется, в изложенном виде модифицированный метод Марквардта неприменим, поскольку значения нам неизвестны, а задача как раз заключается в их оценивании. Однако можно взять их оценки, например Что касается первой оценки, то она, как было показано, является удовлетворительной далее при наличии мультиколлинеарности. Таким образом, оцененные значения равны: Но где стандартная ошибка оценки т. е. есть -статистика параметра. Итак, в модифицированном методе Марквардта ранжирование производится не по значениям а по значениям -статистик, причем критической величиной -статистики является 1.

Допустим, значение выбрано, тогда, найдя значение по формуле (6.69), можно найти новый вектор на основе которого получим следующую поправку к рангу Будет ли сходиться этот процесс? Положительный ответ дается следующей леммой.

Лемма 6.2 [127]. Пусть последовательность чисел, таких, что Обозначим тогда

где

Используя эту лемму, можно найти предельное значение 0. Пусть значение на итерации, тогда поэтому

где Таким образом, предельное значение

статистика для параметра. Случай соответствует оценке метода главных компонент. На основе предельного значения можно пересчитать значения которые могут привести и к другому выбору нулевых координат. Эти итерации будут продолжаться до тех пор, пока