9.7. Вопросы существования и единственности мнк-оценки

9.7.1. Существование.

Запись (9.1), строго говоря, не совсем корректна, так как мнк-оценка может отсутствовать, если априорное множество параметров Г не является компактом (по предположению считаем непрерывными на Г). Отсутствие решения в задаче мнк практически приведет к тому, что итеративный процесс минимизации будет расходиться и при

Естественно, перед тем как решать задачу минимизации, желательно удостовериться, что она корректна. Изложим один подход к решению этой проблемы (более подробно см. [43, 44]). Назовем нижней границей функции на бесконечности число

Можно показать, что если существует такое начальное приближение что то мнк-оценка существует, а множество компактно. Компактность его гарантирует существование хотя бы одной предельной точки последовательности значений параметров, вырабатываемой одним из методов минимизации.

Нелинейная регрессия имеет бесконечные хвосты, если при для любого . Наоборот, регрессия имеет конечный хвост, если существует такая последовательность параметров что Для всех п. Можно показать, что тогда и только тогда, когда регрессия имеет бесконечные хвосты. В случае мнк-оценка всегда существует. Например, в случае логлинейной модели, т. е. когда регрессия имеет бесконечные хвосты, если векторы разнонаправлены (для любого а существует вектор для которого . В то же время можно показать, что если наблюдения то в логлинейной модели мнк-оценка всегда существует.

Оценки снизу для величины в каждом конкретном случае находят аналитически до начала процесса минимизации.

9.7.2. Единственность.

Сумма квадратов может быть мультимодальной. Более того, можно доказать, что вероятность мультимодальности отлична от нуля для любой нелинейной регрессии, не сводящейся к линейной преобразованием в пространстве параметров. Дело усугубляется тем, что все методы минимизации в лучшем случае приводят к локальному минимуму функции. Проверка того, является ли этот минимум глобальным является следующей, возможно, не менее трудоемкой операцией. На практике часто поступают следующим образом. Процесс итераций начинают из другого начального приближения. Тогда, если он сойдется к точке, полученной в первой попытке, можно быть более уверенным в том, что нелинейный минимум является глобальным.

Существуют аналитические методы проверки на достижимость глобального минимума суммы квадратов.

Все они предполагают аналитическое исследование поверхности отклика. Иногда при исследовании этой проблемы бывает полезен следующий результат. Пусть найдено выпуклое множество параметров S, на котором гессиан положительно определен. Пусть далее найдена оценка снизу М, такая, что для всех . Тогда, если найденной точке в процессе итераций соответствует локальный минимум со значением , то — глобальный минимум функции. Например, для логлинейной модели [43] с положительными наблюдениями множеством S будет

а в качестве простейшей оценки снизу можно взять

Подобные оценки, как и в случае исследования на существование мнк-оценки, необходимо проводить аналитическими методами.