3.2. Свойства оценки МНК

Прежде всего в схеме регрессии

изучим свойства оценки метода наименьших квадратов

Предположение позволяет утверждать, что оценка (3.2) существует почти наверное, т. е. с вероятностью 1. Для дальнейшего исследования свойств оценки МНК нам понадобится следующая формула. Пусть х и у — две случайные величины и третья случайная величина, которая является их функцией. Тогда

В фигурных скобках стоит условное при фиксированном х. Для получения (безусловного) случайной величины необходимо взять (безусловное) функции х. Доказательство (3.3.) для абсолютно непрерывных функций плотностей х и у приводится в параграфе 3.4. Очевидным образом формула (3.3.) переносится на многомерный случай.

Докажем несмещенность оценки МНК. Применяя многомерный аналог формулы (3.3), получим

Легко находится матрица ковариаций оценки МНК:

Формула (3.4) отличается от соответствующей формулы в случае постоянной матрицы X наличием знака математического ожидания. Таким образом, для вычисления матрицы ковариаций оценки МНК в регрессии (3.1) необходимо знание истинного распределения случайных величин Попытки оценивать матрицу на основе оценки матрицы приводят к занижению результата. Это следует из матричного аналога неравенства Коши:

откуда

где знак неравенства понимается в том смысле, что разность между правой и левой частями есть неотрицательно определенная матрица.

В качестве иллюстрации рассмотрим следующий пример. Пусть независимые одинаково распределенные случайные величины, , т. е. математическое ожидание равно нулю, а дисперсия Зависимая переменная у связана с таким образом, что Найдем дисперсию оценки МНК. По формуле (3.4) для этого необходимо найти Воспользуемся следующей формулой:

где — некоторая непрерывная функция (см., например, [7, с. 307]), гамма-функция. По этой формуле

По формуле 130 [7, с. 297] находим окончательно

Итак, дисперсия оценки МНК равна Легко видеть, что для дисперсия оценки МНК является бесконечной. Подсчет по формуле приводит к значению т. е. дает заниженное значение дисперсии. При больших разница, однако, будет ничтожна. Оценка также остается несмещенной:

Перейдем к оптимальным свойствам оценки МНК в смысле ее эффективности. Естествен вопрос: верна ли теорема Гаусса — Маркова для схемы условного математического ожидания (3.1). Полностью ответить на этот вопрос мы не можем. Покажем, что если известны некоторые характеристики случайной матрицы X, то существует линейная несмещенная оценка, которая имеет меньшую матрицу ковариаций, чем оценка МНК. Построение такой оценки начнем со случая Все математические ожидания будем предполагать конечными. Пусть система случайных величин, причем

Оценкой МНК для регрессии (3.5) является с дисперсией Пусть — другая линейная по у несмещенная оценка. Несмещенность влечет для любых а равенство

Таким образом, будет несмещенной оценкой, только если

Обозначим тогда условие несмещенности переписывается:

Далее нетрудно показать, что

Выражая через , получим

или

где дисперсия случайной величины Для того чтобы оценка имела меньшую дисперсию, чем оценка МНК, необходимо и достаточно показать, что правая часть (3.7) отрицательна. Найдем такие что (3.7) будет отрицательно. Обозначим Легко показать, что и

где дисперсия случайной величины Предположим теперь, что с вероятностью 1. Тогда неравенство (3.8) будет строгим, так как в противном случае с вероятностью 1

Допустим, известное некоторое число, положим

Тогда и условие несмещенности (3.6) будет выполнено: Далее из (3.9) находим

откуда

Правая часть выражения (3.7) переписывается следующим образом:

Если выбрать из интервала

то выражение (3.7) будет отрицательным и оценка будет иметь меньшую дисперсию, чем оценка МНК. Таким образом, нами доказана следующая теорема.

Теорема 3.1. Если математическое ожидание известно, то оценка МНК в классе линейных несмещенных оценок в условной регрессии не является эффективной, а линейная несмещенная оценка

где достаточно мало, причем с вероятностью для всех для данного а имеет меньшую дисперисию, чем оценка МНК.

Замечания: 1. Можно найти непрерывные случайные величины для которых и поэтому что в свою очередь означает Действительно, пусть случайная величина, равномерно распределенная на (0,1). Положим Как легко заметить, с вероятностью 1.

2. Если найдется такое что будет неограниченной случайной величиной, т. е. для любого А, то условие автоматически выполняется. Предположим противное: причем, например, неограниченная случайная величина. Тогда

Если взять то приходим к противоречивому соотношению

Теорема 3.1 без труда переносится на многомерный случай регрессии (3.1). Пусть X — матрица порядка причем Найдется такая марица -порядка что единичная матрица. Построение осуществляем следующим образом. Обозначим вектор-столбцы матрицы По предположению они линейно независимы. Пусть перпендикуляр, опущенный из конца вектора на линейное подпространство, порождаемое остальными векторами Очевидно, так как в противном случае линейно выражался бы через Нормируем таким образом, чтобы Аналогично построим векторы Матрица тогда состоит из вектор-столбцов Легко проверяется, что

Введем обозначение

Предыдущая теорема может быть перенесена на многомерный случай.

Теорема 3.2. Если известно, то оценка МНК в классе линейных несмещенных оценок в условной регрессии не является эффективной, а несмещенная линейная оценка

где достаточно мало и с вероятностью 1 для любого заданного а имеет меньшую матрицу ковариаций, чем оценка МНК (в смысле

Доказательство теоремы приведено в [25].

Практическое использование теорем 3.1 и 3.2 весьма проблематично, но ценность их в том, что они показывают возможное ухудшение свойств оценки МНК при переходе к модели (3.1).

Остановимся на результатах, приведенных в [85]. Вместо класса линейных несмещенных оценок был рассмотрен класс линейных оценок с ограниченной функцией риска

(см. параграф 1.4), т. е. с ограниченной матрицей средних квадратов отклонений

где линейная статистика по у. Матрица (3.12) есть функция а. Статистика будет принадлежать к классу статистик с ограниченной функцией риска, если матрица (3.12) ограничена постоянными матрицами, не зависящими от для любого распределения матрицы X из заданного класса распределений. В параграфе 1.4 показано, что если в качестве неизвестного параметра выступает математическое ожидание, то класс линейных несмещенных оценок и класс линейных оценок с ограниченной функцией риска совпадают. Покажем, что это не происходит в схеме регрессии (3.1). Можно доказать, что класс линейных оценок с ограниченной функцией риска уже класса линейных несмещенных оценок. Для этого рассмотрим лемму.

Лемма 3.1. Если — линейная по у оценка неизвестного вектора параметров а с ограниченной функцией риска, то

или, что то же самое, почти для всех

Легко проверяется и обратное: если -линейная статистика и то имеет ограниченную функцию риска. Доказательство леммы см. в [85].

Покажем, почему класс линейных оценок с ограниченной функцией риска уже класса линейных несмещенных оценок. Пусть линейная оценка по у, т. е. где Условие несмещенности оценки записывается в виде

для всех

тогда как условие ограниченности функции риска по лемме 3.1 — в виде (3.13). Ясно, что условие (3.13) более сильное. Если оно выполняется, то выполняется и (3.14).

На основе (3.13) нетрудно показать, что в более узком классе — классе линейных оценок с ограниченными функциями риска — оценка МНК уже будет оптимальной, что и составляет содержание следующей теоремы.

Теорема 3.3. Оценка МНК является эффективной оценкой в классе линейных оценок с ограниченными функциями риска.

Доказательство. Пусть линейная оценка с ограниченной функцией риска. По лемме 3.1 эта оценка также является несмещенной, причем равенство (3.13) выполняется почти для всех матриц Найдем матрицу ковариаций оценки

Оптимальной является оценка, которая приводит к минимальной матрице (3.15) при ограничении (3.13) 1. Для фиксированной матрицы X оценке МНК соответствует матрица которая приводит к минимальному значению Теперь воспользуемся тем, что из условия

следует

Теорема доказана.

Нетрудно убедиться, что оценка (теоремы 3.1 и 3.2) не принадлежит к классу оценок с ограниченной функцией риска.

С помощью некоторых дополнительных предположений в [85] доказывается минимаксность оценки МНК в классе линейных оценок с ограниченной функцией риска.

Подведем итоги: оценка МНК в классе линейных несмещенных оценок перестает быть оптимальной в регрессии (3.1). В классе линейных оценок с ограниченной функцией риска оценка МНК продолжает быть оптимальной. Таким образом, если не рассматривать оценок, которые являются весьма плохими для некоторых значений параметров регрессии, то оценка МНК будет эффективной.

Коротко остановимся на асимптотических свойствах оценки МНК. Аналогично детерминированному случаю можно показать, что условие Эйкера (1.39) эквивалентно квадратичной сходимости.

Теорема 3.4. Предположим, тогда оценка МНК сходится к истинному значению в среднем квадратичном тогда и только тогда, когда с вероятностью 1

Доказательство теоремы приведено в параграфе 3.4.

Можно было бы найти условия асимптотической нормальности оценки МНК в регрессии (3.1), однако это представляет лишь теоретический интерес. Асимптотическая нормальность далее исследована в частном и важном случае случайной повторной выборки (параграф 3.2).

Рассмотрим, как влияет схема условного математического ожидания (3.1) на другие характеристики регрессии. Начнем с коэффициента детерминации. Раньше этот коэффициент терял статистический смысл в силу того, что что в свою очередь являлось результатом того, что независимые переменные представляли собой неслучайные (детерминированные) числа. В схеме регрессии (3.1) условие постоянства математического ожидания может быть выполнено, например, в случае, когда т. е. не зависит от При этом условие невырожденности (предположение с этим фактом не связано. Подобная ситуация наблюдалась в приведенном выше примере, где Далее, если т. е. не зависит от то коэффициент детерминации несет на себе первоначальный статистический смысл, а именно является показателем функциональности, адекватности регрессии. В частности, показывает, какая часть дисперсии была объяснена зависимостью (3.1). Если хотя бы одно из перечисленных условий не выполняется, теряет статистический смысл и остается показателем, отражающим, насколько модель регрессии лучше модели среднего. Поэтому для временных рядов, имеющих тренд, коэффициент детерминации регрессий как условных имеет тот же смысл, что и для классической регрессии.

Далее очевидно, распределение оценки МНК в схеме (3.1) перестает быть нормальным, даже если отклонения нормально распределены. Распределение а зависит от распределения независимых переменных. В схеме регрессии как условного математического ожидания оценка МНК не будет эффективной в классе несмещенных оценок с нормально распределенными отклонениями.

Для регрессии (3.1) изменится и критерий отношения правдоподобия. Он будет также зависеть от распределения независимых переменных. Критерии проверок гипотез, разработанные в параграфе 1.10, также не будут равномерно наиболее мощными. Однако очень важно, что доверительные интервалы, построенные для случая, когда матрица X стохастическая, имеют по-прежнему коэффициент

доверия Это следует из того, что если множество имеет постоянную условную вероятность то Это утверждение следует непосредственно из формулы (3.3). Таким образом, доверительные интервалы, построенные в параграфе 1.10, переставая быть равномерно наиболее точными, по-прежнему накрывают истинное значение параметров с вероятностью Дополнительная информация о распределении X может сузить доверительный интервал (или увеличить мощность критерия), однако если дисперсия очень мала, то построенные критерии проверки гипотез будут близки к оптимальным.

Упражнения 3.2

(см. скан)