5.5.3. Состоятельность оценок максимального правдоподобия

Покажем теперь, что матрица коэффициентов при оценках максимального правдоподобия в (3) сходится по вероятности к некоторой невырожденной матрице, матрица в правой части (3) также сходится по вероятности к некоторой матрице и что результирующее уравнение имеет в качестве единственного решения матрицу параметров В. В этом разделе обозначение у, будет указывать на то, что процесс удовлетворяет (1) при всех , так что

и

Лемма 5.5.2. Пусть случайные векторы независимы, Тогда если одинаково распределены или для некоторых то

Доказательство. В случае одинаково распределенных случайных векторов утверждение леммы следует непосредственно из закона больших чисел для одинаково распределенных случайных величин, применяемого к каждой компоненте уравнения (23). При выполнении второго условия элемент матрицы стоящий на пересечении строки и столбца, именно имеет математическое ожидание и при этом

Утверждение леммы вытекает в этом случае из закона больших чисел, известного под названием теоремы Маркова. [См, Лоэв (

Лемма Пусть определяется соотношением (21), все характеристические корни матрицы —В лежат в единичном круге, случайные величины независимы и Тогда

Доказательство. Сумма математических ожиданий квадратов элементов матрицы равна

в силу того, что при (поскольку не зависит от при не зависит от остальных сомножителей при Утверждение леммы следует из неравенства Чебышева.

В соответствии с леммой 5.5.3

а в соответствии с леммой 5.5.2

Если вычесть из (28) произведение (27) на В, а также произведение В на транспонированное соотношение (27), то получим

Здесь использован тот факт, что разность

сходится по вероятности к нулю. Поскольку уравнение

имеет единственное решение относительно А (см. упр. 27), то (29) определяет предел по вероятности матрицы и этот предел равен (22).

Теорема 5.5.2. Пусть определяется соотношением (21) для причем все характеристические корни матрицы —В лежат в единичном круге, а случайные величины независимы и Пусть, кроме того, и, либо одинаково распределены, либо некоторых Тогда

где F задается соотношением (22).

Лемма 5.5.4. Если матрица 2 положительно определена, то такова же и матрица

Доказательство. Матрица во всяком случае, будет положительно полуопределенной как ковариационная матрица. Поскольку же она является положительно определенной как сумма положительно определенной и положительно полуопрег деленной матриц. (См. упр. 28).

Теорема 5.5.3. Пусть выполнены условия теоремы 5.5.2 и матрица F положительно определена. Тогда

Доказательство. Для доказательства (33) заметим, что

Тогда (34) вытекает из представления

и из соотношений (28) и (33).

Теорема 5.5.3 показывает, что указанные оценки для В и 2 состоятельны при довольно общих условиях, в частности более общих, чем те, при которых они являются оценками максимального правдоподобия. Мы выбрали эти условия потому, что они относительно просты и тоже приводят к асимптотической нормальности. Предположение о том, что все характеристические корни лежат в единичном круге, не является необходимым для состоятельности оценки матрицы В. Однако оно необходимо для общей теоремы об асимптотической нормальности. (См. Т. Андерсон (1959).)

Чтобы доказать состоятельность оценок для скалярного уравнения порядка остается показать невырожденность матрицы

Лемма 5.5.5. Если то матрица

положительно определена, где

Доказательство. Если для некоторого х оказывается, что

то при этом должны выполняться соотношения

Но из последних непосредственно следует, что и равны нулю первые компоненты векторов Первая же компонента вектора равна — так что Подобным же образом показывается, что равны нулю все компоненты вектора х. Итак, если то обязательно что и требовалось доказать.

Теорема 5.5.4. Пусть определяется соотношением (1) из § 5.1 для причем все характеристические корни этого уравнения лежат в единичном круге, а случайные величины независимы и Пусть, кроме того, либо имеют одинаковые распределения, либо для некоторых Тогда