8.5. Доказательства

1. Доказательство теоремы 8.2. Рассмотрим следующую последовательность случайных величин:

Существование предела (8.4) ведет к тому, что первое слагаемое правой части выражения (8.37) по закону больших чисел стремится к нулю с вероятностью, равной 1. В силу независимости и одинаковой распределенности предел второго слагаемого (8.37) равен Таким образом,

с вероятностью 1.

В силу компактности для каждой последовательности наблюдений существует предельная точка последовательности оценок которую обозначим а. По определению оценки МНК

Воспользуемся следующим результатом Уилкса [63, с. 116]. Пусть случайная величина, зависящая от параметра с. Предположим, что равномерно по с по вероятности при где непрерывная функция. Тогда, если то

Так как сходимость (8.4) равномерна по а при фиксированном (таковой является и сходимость (8.38)), неравенство (8.39), как следует из предыдущего, будет верно и для предельной точки а:

или с учетом откуда что влечет .

2. Доказательство теоремы 8.3 имеет много общего с доказательством асимптотической нормальности оценки максимального правдоподобия [63, с. 369— 371].

Поскольку внутренняя точка В п. п. н., то, разлагая в этой точке градиент суммы квадратов отклонений в ряд до линейных членов, получим

где истинное значение параметра; случайная величина, удовлетворяющая неравенству

В силу того что внутренняя точка, минимизирующая градиент в этой точке равен нулю, т. е. первое слагаемое в правой части (8.40) равно нулю. Перепишем (8.40) следующим образом:

Легко показать, что случайный вектор

имеет предельное распределение Далее,

Воспользуемся опять результатом Уилкса [63, с. 116]. Из неравенства (8.41) следует, что Поэтому в силу (8.7) и вышеизложенного результата первое слагаемое правой части выражения (8.43) сходится по вероятности к Аналогично, используя (8.6), можно показать, что второе слагаемое (8.43) сходится по вероятности к нулю. Далее пользуемся следующим хорошо известным фактом (см., например, [58, с. 1181). Если случайный вектор случайная матрица и векторы имеют предельное распределение детерминированная матрица, то вектор имеет асимптотическое предельное распределение, совпадающее с распределением вектора где вектор имеет распределение Поэтому предельным распределением вектора будет теорема доказана.