7.5. Единственность оценки МНК

Обсудим вопросы, связанные с наличием у минимизируемой функции нескольких локальных минимумов.

Как только минимизируемая функция многих переменных становится выпуклой вниз, то все методы минимизации будут сходиться. То же самое можно сказать и о

специальных методах минимизации суммы квадратов отклонений: если в некоторой области функция выпукла и а то а дает единственный глобальный минимум на Сумма квадратов отклонений не может быть выпуклой на всем пространстве и для всех наблюдений Действительно, если хотя бы для одного то специальным выбором можно добиться того, что гессиан (см. уравнение 7.15) не будет положительно определен. Другими словами, если нелинейна, то найдутся наблюдения, для которых не будет выпукла. В работе [22] доказывается более сильное утверждение: найдется для которого будет иметь несколько локальных минимумов. Если же считать, что у имеет, например, нормальное распределение, то вероятность наличия больше двух локальных минимумов больше нуля. Все это говорит о том, что минимизировать необходимо с большой осторожностью, чтобы не принять ложное значение оценки МНК за истинное. В работе [22] предлагается метод определения соответствия найденного вектора глобальному минимуму суммы квадратов отклонений. Этот критерий доказан для случая и для его использования необходимы оценки некоторых характеристик поверхности Для каждой конкретной регрессии может быть предложен, однако, свой способ определения области на которой соответствующая сумма квадратов отклонений была бы выпукла. Так, рассмотрим следующий простой критерий для регрессии, линейной в логарифмах.

Легко видеть, что уравнение (7.15) для регрессии (7.3) переписывается следующим образом:

В матричном виде гессиан для регрессии (7.3) равен:

где диагональная матрица с элементом на главной диагонали. Ясно, что на множестве гессиан (7.34) будет положительно определен, а сумма квадратов отклонений выпукла вниз. Множество представим в другом виде:

Очевидно, есть выпуклый многогранник в пространстве (рис. 7.4). Далее, легко видеть, если

то а Множество векторов, удовлетворяющих (7.36), обозначим Тогда Критерий проверки единственности оценки МНК для регрессии (7.3) прост. Допустим, один из методов минимизации суммы квадратов отклонений привел нас к точке а, в которой причем т. е.

Рис. 7.4. Множество, на котором функция регрессии выпукла

Тогда можно утверждать, что на точка а отвечает глобальному минимуму. Далее, для всех и поэтому Таким образом, а — единственная оценка МНК. Оценка (7.36) завышена, и иногда доказательство единственности оценки МНК по критерию (7.36) «не проходит».

В предыдущем параграфе найден вектор, который обращает градиент регрессии (7.5) в нуль. Является ли этот вектор оценкой МНК? Ответ положительный, поскольку .

Часто для того чтобы убедиться в том, что а отвечает глобальному минимуму начинают процесс

минимизации с другого начального приближения. Если процесс сойдется к старому значению а, есть уверенность в том, что минимальное значение функции.

Упражнения 7.5

(см. скан)