1.11. Доказательства

1. Доказательство теоремы 1.3. Имеем

где единичная матрица Матрица А идемпотентна:

Применяя формулу получим

но поэтому откуда что и требовалось доказать.

2. Доказательство теоремы 1.5. 1) Пусть Тогда

Применим левое неравенство для матрицы имеем

откуда т. е.

2) Пусть сходится среднем квадратичном, т. е. Применим правое неравенство для матрицы получим

откуда

3. Доказательство теоремы 1.6. Обозначим

тогда Поскольку то и начиная с некоторого для всех Поэтому, применяя неравенство получим по условию теоремы.

Итак, условие Эйкера выполнено, поэтому оценка МНК состоятельна.

4. Доказательство теоремы 1.7. Как следует из (1.78) и (1.79),

В силу нкоррелируемости первое слагаемое по закону больших чисел при стремится по вероятности к Докажем, что второе слагаемое стремится по вероятности к нулю. В силу положительной определенности найдется невырожденная матрица такая, что откуда

Обозначим тогда второй член в (1.80) перепишется:

но , поэтому

т. e. , поэтому

5. Доказательство теоремы 1.8 основано на теореме сходимости суммы элементарной системы случайных величин (см. [18, с. 288]). Фиксируем Тогда координата стандартизированной оценки МНК равна: где - элемент матрицы Проверим выполнимость аксиом, позволяющих считать систему случайных величин элементарной [18, с. 283]. Прежде всего заметим, что что следует из

Далее,

— условие теоремы. Применим теперь теорему 2 [18, с. 288]. Условие ее переписывается следующим образом:

где функция распределения Таким образом, для доказательства теоремы достаточно показать, что условия (1.81) и (1.43) эквивалентны.

Достаточность. Докажем сначала, что для любого найдется такое что для всех

Пусть такое, что Пусть такое, что для любого т. е. для Имеем

откуда и следует (1.82). Далее, начиная с для любого

т. е. условие (1.81) выполнено.

Необходимость. Допустим, (1.43) не имеет места. Тогда найдется такая последовательность что Для всех В таком случае

Поэтому

т. е. условие (1.81) не выполняется. Теорема доказана. Замечание. Доказательство теоремы нельзя считать полным в достаточной мере, так как мы доказали асимптотическую нормальность только координаты оценки МНК. Для полноты доказательства теперь необходимо рассмотреть линейную комбинацию координат оценок МНК и доказать, что она асимптотически нормальна. Доказательство будет аналогично приведенному. По известной теореме тогда и весь вектор оценки МНК будет асимптотически нормален.

6. Пример регрессии, в которой матрица сильно регулярна, а оценка МНК не асимптотически нормальна. Для простоты рассмотрим регрессию с одним оцениваемым параметром: Отклонения считаем независимыми и одинаково распределенными. Пусть последовательность такова:

где Тогда

где означает целую часть числа. Нетрудно проверить, что последняя сумма имеет предел 1 при . С другой стороны, если взять то для построенной последовательности Таким образом, условие теоремы 1.8 не выполняется, и оценка МНК не будет асимптотически нормальной.

7. Доказательство теоремы 1.10. Прежде всего более подробно рассмотрим, как условие (1.39) связано с (1.43). Для этого обозначим — вектор-строку матрицы вектор-столбец матрицы По определению (1.42)

Теперь покажем, что условие (1.43) эквивалентно

Этот факт следует из очевидных неравенств

Условие (1.84) теперь позволяет понять, почему (1.43) сильнее (1.39). Из (1.83) следует

Для того чтобы выполнялось условие (1.84), необходимо, чтобы не только но чтобы отношение равномерно стремилось к нулю.

По определению имеем откуда по неравенству

Поэтому из (1.85) следует

Сходимость (1.84) следует из условия б) теоремы.

8. Доказательство теоремы 1.13. Логарифм функции плотности (1.44) равен: ее производные по равны:

Число искомых параметров равно ; обозначим общий вектор параметров

Найдем

Имеем

В силу того что первое слагаемое обращается в нуль. В силу независимости поэтому второе слагаемое равно:

так как для нормального распределения 3-й момент равен нулю. Итак, поэтому

Но матрица ковариации оценки МНК как раз равна т. е. нижняя граница в неравенстве Крамера—Рао (1.15), (1.16) достигается, и оценка МНК будет эффективна в классе всех несмещенных оценок — теорема доказана.