7.2. Существование оценки МНК

Рассмотрим критерий, с помощью которого можно устанавливать существование оценок МНК. Прежде всего дадим определение ограниченности снизу функции на бесконечности. Пусть функция аргументов, заданная на всем пространстве Она ограничена снизу на бесконечности числом В, если для любой последовательности векторов такой, что найдется такое что Данное определение может быть аргументировано следующим образом. Обозначим

функция неубывающая функция действительного переменного что позволяет нам говорить о ее пределе при (даже если этот предел равен бесконечности). Тогда функция будет ограничена на бесконечности снизу любым числом

Теорема 7.1. Пусть функция непрерывна и ограничена снизу числом В. Тогда, если найдется такая точка в которой то абсолютный минимум функции достигается.

Доказательство см. в параграфе 7.8.

Применим теорему 7.1 к вопросу о существовании оценки МНК в нелинейной регрессии (7.2). В качестве теперь будет выступать сумма квадратов отклонений (7.6). Пусть функция ограничена снизу на бесконечности числом В. Тогда если найденное нами начальное приближение приводит к сумме квадратов отклонений то оценка МНК существует. Так, на рис. 7.3 сумма квадратов отклонений имеет асимптоту при а и при а Поскольку оценка МНК в этом случае существует. Как правило, начальное приближение найти нетрудно. Основная задача заключается в том, чтобы найти значение В или, еще лучше, для разных функций регрессий. Найдем оценку снизу для этого предела для регрессий, функции которых линейны в логарифмах. Итак, пусть

задана регрессия где Могут возникнуть два взаимоисключающих случая.

Случай А: векторы разнонаправлены. Это означает, что для любого найдется вектор из системы векторов чтоах Докажем, что в случае А число В может быть выбрано любым. Действительно, пусть -такая последовательность точек из , что

Рис. 7.3. График суммы квадратов отклонений,

Рассмотрим нормированную систему векторов Так как принадлежит компактному множеству, то существует сходящаяся подпоследовательность последовательности Обозначим эту подпоследовательность через В силу разнонаправленности векторов найдется для которого т. е. Поскольку есть функция непрерывная, то начиная с некоторого номера можно утверждать, что Поэтому

при В силу этого для любого наперед заданного числа найдется номер для которого сумма квадратов отклонений

будет больше выбранного числа. Итак, в случае разнонаправленных векторов

Случай Б: векторы равнонаправлены. Это означает, что найдется такой вектор а что для всех Здесь нам потребуется характеристика «степени линейной зависимости» векторов Обозначим такое наименьшее число, что любых векторов из системы векторов образуют базис пространства Минимальное значение очевидно, равно

Итак, пусть задана такая последовательность векторов Определим

Рассмотрим три возможности:

1) для некоторого Тогда для некоторой подпоследовательности Поэтому

Таким образом, число В может быть выбрано сколь угодно большим;

2) для некоторых из Тогда

Это приводит к тому, что и соответствующие слагаемые в сумме квадратов отклонений стремятся к

3) . Число номеров, для которых обозначим Докажем, что силу для каждого найдется такая подпоследовательность что Рассуждая, как в случае А, можно выбрать единую подпоследовательность для которой для всех таких, что В силу замкнутости и ограниченности сферы найдется предельная точка а этой подпоследовательности. В этой точке т. е. Теперь ясно, почему не может быть больше так как в противном случае система векторов, дополненная а, была бы линейно-независимой, что противоречит определению

Таким образом, сумму квадратов отклонений в случае можно разложить на две суммы:

где ранжированный ряд. Окончательно

и В может быть выбрано любым, меньшим числа в правой части (7.11).

Рассмотрим регрессию (7.5). Для всех поэтому для всех Как следует из задачи 2 упражнения 7.2, векторы при этих условиях будут однонаправлены. Далее, легко показать, что для регрессии (см. табл. 1.1). Поэтому для регрессии (7.5)

Для регрессий (7.3), линейных в логарифмах, начальное приближение находится просто. Прологарифмируем обе части регрессии; тогда формально можно записать

Применяя к уравнению (7.12) метод наименьших квадратов, найдем

Как правило, является хорошим приближением к искомой оценке МНК а. Оцененная таким способом регрессия (7.5) выглядит следующим образом:

Поскольку то оценка МНК по теореме 7.1 регрессии (7.5) существует.

Упражнения 7.2

(см. скан)

(см. скан)