10.2.2. Мера эффективности линейных оценок

Перейдем теперь к рассмотрению вопроса о том, какую погрешность мы допускаем, используя оценку наименьших квадратов вместо марковской в том случае, когда эти оценки отличаются. Ковариационная матрица оценки наименьших квадратов по крайней мере «не меньше», чем ковариационная матрица марковской оценки в том смысле, что разность этих двух матриц положительна полуопределена. Точнее говоря, для любого вектора у

Последнее соотношение вытекает из (9). Чем «больше» ковариационная матрица по сравнению с ковариационной матрицей тем менее эффективно оценивание с помощью метода наименьших квадратов. В качестве меры эффективности возьмем отношение определителей этих ковариационных матриц

Геометрическую интерпретацию ковариационных матриц для b и можно дать с помощью соответствующих эллипсоидов

рассеяния, которые шеют вид

Равномерные распределения на областях, заключенных в пределах эллипсоидов (38) и (39), имеют те же самые векторы средних и те же ковариационные матрицы, что и оценки b и соответственно. Неравенство (36) означает геометрически, что эллипсоид (38) расположен целиком внутри эллипсоида (39). Числитель первого и второго отношений в (37) пропорционален квадрату объема эллипсоида (38), а знаменатель пропорционален квадрату объема эллипсоида (39). (См. Т. Андерсон (1958).)

Теорема причем тогда и только тогда, когда оценка наименьших квадратов совпадает с марковской.,

Для облегчения изучения эффективности оценок наименьших квадратов нам понадобятся некоторые алгебраические результаты.

Лемма 10.2.2. Если и матрица не вырождена, то эффективность оценок наименьших квадратов коэффициентов регрессии по совпадает с эффективностью оценок наименьших квадратов коэффициентов регрессии по

Доказательство. Эффективность оценок наименьших квадратов коэффициентов регрессии по равна (37). Подстановка приводит к соотношению

которое и является эффективностью оценок наименьших квадратов коэффициентов регрессии по

Лемма 10.2.3. Если где К — ортогональная матрица, то эффективность оценок наименьших квадратов коэффициентов регрессии по 1, имеющей ковариационную матрицу совпадает с эффективностью оценок наименьших квадратов коэффициентов регрессии по имеющей ковариационную матрицу

Доказательство. Эффективность оценок наименьших квадратов коэффициентов регрессии по имеющей ковариационную матрицу , равна (37). Подставляя в (т. е.

получаем

а это и есть эффективность оценок наименьших квадратов коэффициентов регрессии по имеющей ковариационную матрицу

Предположим, что существует линейно независимых линейных комбинаций столбцов матрицы являющихся характеристическими векторами матрицы , и пусть эти линейные комбинации заданы в виде Здесь является максимальным числом таких линейно независимых комбинаций. Пусть матрица размера выбрана так, что ортогональна При этом справедливы соотношения (31) и (32). Положим Тогда эффективность оценки наименьших квадратов равна

ввиду того, что где состоит из характеристических векторов [т. е. ]. Иными словами, эффективность оценки наименьших квадратов оказывается равной эффективности оценки наименьших квадратов коэффициентов регрессии по части матрицы ортогональной той части коэффициенты которой удается эффективно оценить. Геометрическая интерпретация этого факта состоит в том, что имеется такая -мерная гиперплоскость, проходящая через которая имеет одно и то же пересечение с эллипсоидом (38) и с эллипсоидом (39). Отношение объемов зависит при этом от длин главных осей, ортогональных к указанному -мерному подпространству.

Лемма 10.2.4. Эффективность оценок наименьших квадратов коэффициентов регрессии по 1 равна

где невырожденная матрица, такая, что

Доказательство, Утверждение леммы вытекает из результатов лемм 10.2.2 и 10.2.3.

Если имеется некоторая информация или , то могут представлять интерес нижние границы эффективности оценок наименьших квадратов при этих условиях. Пусть, например, матрица известна, но этот факт не используется при оценивании. Насколько при этом могут оказаться неэффективными оценки наименьших квадратов? Эта задача сводится к отысканию минимума (43) по всем матрицам размера таким, что [Минимизацию (43) можно выполнять на компактном множестве матриц так что минимум существует и достигается. Если то (43) принимает вид

где различные значения чисел обозначены причем суммирование производится по тем значениям для которых Знаменатель (45) имеет вид где X — случайная величина с распределением Поэтому к (45) можно применить следующее неравенство Канторовича (1948).

Лемма 10.2.5. (Неравенство Канторовича.) Если случайная величина X такова, что то

Доказательство. Если то

откуда

Поэтому умноженное на математическое ожидание случайной величины удовлетворяет неравенству

Отсюда и из соотношения

вытекает искомое неравенство (46).

Теорема 10.2.4. Если — соответственно наибольший и наименьший характеристические корни матрицы 2, то

Верхняя граница в лемме 10.2.5 достигается для такой случайной величины, у которой Соответственно, нижняя граница в (51) достигается для т. е. в том случае, когда является средним двух характеристических векторов, соответствующих наибольшему и наименьшему характеристическим корням.

Нижняя граница для может быть записана в виде Иными словами, она является функцией отношения наименьшего характеристического корня матрицы 2 к наибольшему характеристическому корню этой матрицы. В табл. 10.1 приведены значения минимума для различных значений отношения Следует отметить, что для потеря эффективности не очень велика.

Таблица 10.1. (см. скан) Нижняя граница эффективности скалярной оценки наименьших квадратов

Если то здесь уже не удается найти такой удовлетворительной нижней границы, которая была бы достижимой. Например имеет место оценка

однако она не достижима. Ватсон (1967) получил другую оценку снизу:

При этом он привел два примера, в одном из которых лучшей оказывается оценка (52), а в другом — оценка (53). [См. Ватсон: (1955).]

Теорема 10.2.5. Оценки наименьших квадратов являются эффективными для всех тогда и только тогда, когда матрица отличается от единичной матрицы I лишь скалярным множителем.

Доказательство. Единственными матрицами, для которых все векторы характеристические, являются матрицы, указанные в формулировке теоремы.

Пусть в качестве примера где

для то

где каждая из подматриц имеет порядок Пусть, подобно тому как это было в гл. 6,

Характеристическими корнями будут здесь, во-первых соответствующий характеристическому вектору затем, если Учетное, соответствующий характеристическому вектору а также соответствующие этом, для каждого корни имеют кратность, два. Соответствующая каждому двойному корню пара характеристических векторов, указанных выше, может быть заменена любой парой линейных комбинаций этих векторов, образующей ортогональное преобразование размерности два. Оценка наименьших квадратов будет здесь эффективной тогда и только тогда, когда столбцов матрицы являются независимыми линейными комбинациями из этих характеристических векторов.