Приложение Д. ТЕОРЕМА ГАУССА-МАРКОВА
Пусть мы имеем модель
где
это случайный вектор со средним 0 и невырожденной ковариационной матрицей V, у — вектор наблюдений и В - известная матрица. Мы хотим найти для параметров
линейную несмещенную оценку 0 с наилучшими дисперсионными свойствами. Линейность оценки означает существование не зависящей от у матрицы А, такой, что
Таким образом,
Если оценка несмещенная, то равенство
должно выполняться для любого 0, поэтому
Ковариационная матрица оценок 0 определяется формулой
Мы хотим найти матрицу А, которая минимизирует некоторую меру матрицы
Такой мерой может быть:
1) так называемая «обобщенная дисперсия», т. е.
;
2) некоторое взвешенное среднее от элементов матрицы
например
где
есть произвольная положительно определенная матрица;
3) спектральная норма (наибольшее собственное значение) матрицы
Все эти критерии ведут к одному и тому же ответу. Мы будем здесь использовать критерий (1), а читатель может в качестве упражнения вывести результаты для других критериев.
Итак, мы хотим определить матрицу А, которая минимизирует определитель
удовлетворяя одновременно условию
Введем матрицу множителей Лагранжа А и построим функцию Лагранжа
Мы должны найти стационарную точку функции Лагранжа
С помощью методов раздела
мы находим
Умножая уравнение
справа на матрицу
и имея в виду условие
мы получаем
Подставляя
в уравнение
получаем
Умножая на это равенство справа матрицу
и затем на матрицу В, мы находим последовательно:
Подставляя
в
имеем
Так что окончательно
и
в согласии с формулой
Нетрудно проверить, что это решение действительно соответствует минимуму определителя
Трактовка общего случая, когда могут иметь место вырожденные матрицы, дается Прайсом [1611. Для получения результатов требуется подстановка псевдообратных матриц вместо обратных там, где это необходимо.