10.2. ЭФФЕКТИВНОЕ ОЦЕНИВАНИЕ ФУНКЦИЙ ТРЕНДЖ

10.2.1. Эффективное оценивание по методу наименьших квадратов

Рассмотрим функцию тренда, линейную относительно неизвестных коэффициентов. Как было показано в § 2.4, в выражения для наилучших линейных несмещенных оценок этих коэффициентов: (марковских оценок) входит ковариационная матрица (определенная с точностью до масштабного множителя). Последняя же часта бывает неизвестной. В то же время оценки наименьших квадратов всегда вычислимы и являются несмещенными. Однако они уже могут не иметь минимальные дисперсии (среди несмещенных линейных оценок). В настоящем разделе сравниваются оценки наименьших квадратов и марковские оценки.

Пусть вектор имеет вектор средних

и ковариационную матрицу

где есть известная матрица размера ранга есть -компонентный вектор коэффициентов, подлежащих оценке по наблюдению вектора у, а 2 положительно определенная матрица. Тогда марковская оценка вектора известной 2) равна

а оценка наименьших квадратов —

Соответствующие ковариационные матрицы равны

Марковской оценкой и оценкой наименьших квадратов произвольной линейной комбинации будут соответственно Дисперсии этих оценок равны

Обе оценки являются несмещенными. При этом

для всех у.

В § 2.4 было показано, что марковская оценка совпадает с оценкой наименьших квадратов в том случае, когда причем столбцов матрицы являются характеристическими векторами матрицы 2 и матрица С не вырождена. Докажем, что эти условия являются и необходимыми.

Теорема 10.2.1. Оценка наименьших квадратов (4) совпадает с марковской оценкой (3) тогда и только тогда, когда причем столбцов матрицы V являются линейно независимыми характеристическими векторами матрицы 2, а матрица С не вырождена.

Доказательство. Исследуемые оценки совпадают тогда и только тогда, когда соотношение является тождеством относительно у, т. е. тогда и только тогда, когда

Умножая обе части (10) на слева и на справа, получаем

В то же время существуют невырожденная матрица размера и (невырожденная) диагональная матрица такие, что

(См. упр. 30 гл. 6.) Поэтому, умножая обе части (11) справа на получаем

Таким образом, столбцы матрицы являются характеристическими векторами матрицы , а диагональные элементы матрицы соответствующими им характеристическими корнями. Если положить то получится утверждение теоремы.

Поскольку несмещенные линейные оценки с минимальной дисперсией единственны, то любая несмещенная линейная оценка с минимальной дисперсией будет марковской. Оценки наименьших квадратов имеют минимальную дисперсию тогда и только тогда, когда они удовлетворяют условию теоремы 10.2.1. Условие совпадения оценок наименьших квадратов с марковскими для всех компонент вектора (т. е. для всех векторов можно сформулировать и иначе. Это совпадение будет в том и только в том случае, когда существует линейно независимых линейных комбинаций столбцов матрицы являющихся характеристическими векторами матрицы . Еще одна возможная формулировка состоит в том, что

где невырожденная матрица. Действительно, (15) переходит в (14), если положить

Посмотрим, как этот критерий можно сформулировать с использованием заданного множества характеристических векторов матрицы . Соответствующий результат выведем с помощью ковариационных матриц оценок. Пусть характеристические корни матрицы равны Пусть матрица V такова, что ее столбцы являются характеристическими векторами матрицы и нормированы таким образом, что т. е. где диагональная матрица, на диагонали которой стоят характеристические корни матрицы . Если эти корни различны, то соответствующие характеристические векторы определяются однозначно. Далее, любую матрицу размера можно представить в виде где V — определенная выше матрица, некоторая матрица размера Поскольку то

для такой матрицы справедливы соотношения

в которых

В том случае, когда имеются кратные характеристические корни, характеристические векторы уже не будут однозначно определенными. Предположим, что различающиеся между собой значения характеристических корней есть

единичные матрицы имеют порядки соответственно. Разобьем на соответствующие блоки также матрицы Тогда

Матрицы являются неоднозначно определенными в том смысле, что можно заменить на где произвольная ортогональная матрица порядка При этом матрицы заменятся на Однако соотношения (20), (21) и (22) не изменятся (поскольку для заданной Сформулируем теперь условие совпадения марковских оценок и оценок наименьших квадратов с использованием рангов матриц

Теорема 10.2.2. Матрица ковариаций оценки наименьших квадратов (6) совпадает с матрицей ковариаций марковской оценки (5) тогда и только тогда, когда сумма рангов матриц равна

Доказательство. Прежде всего найдется такая невырожденная матрица для которой где диагональная матрица с элементами Тогда

где положительно полуопределенная матрица, Указанные в формулировке ковариационные матрицы (5) и (6) совпадают тогда и только тогда, когда (25) равна Диагональные элементы матриц (23), (24) и (25) равны

Поскольку матрица положительно полуопределена, Из (26) вытекает тогда, что для каждого значения числа образуют набор вероятностей. При этом правая часть (27) есть не что иное как где X — дискретная случайная величина с распределением вероятностей а (28) равно Если (25) есть то (28) равно Но так как для тогда и только тогда, когда с вероятностью 1 есть просто положительная постоянная, то для одного значения для всех остальных значений А. (См. лемму 10.2.1 ниже.) Таким образом, во всей

совокупности положительно полуопределенных матриц имеется всего диагональных элементов, равных 1. Все остальные диагональные элементы этих матриц равны нулю. Учитывая, что значения упорядочены одинаковым образом, получаем отсюда, что те элементы которые равны 1 при некотором соответствуют последовательным значениям индекса В силу положительной полуопределенности матрицы из вытекает,что и . Таким образом, имеет не более одного диагонального блока, отличного от нулевого. Но тогда из (23) следует, что остальные недиагональные элементы равны нулю и ранг равен числу единиц на ее диагонали. Поэтому сумма рангов положительно полуопределенных матриц равна а ранг совпадает с рангом матрицы

Обратно, предположим, что сумма рангов матриц равна Из (23) и (24) находим, что Ранг левой части последнего соотношения не превосходит суммы рангов матриц равной минус ранг матрицы Поэтому число тех которые равны не меньше ранга Поскольку последнее утверждение справедливо для всех это число в точности равно рангу Пусть ненулевыми среди матриц являются матрицы имеющие ранги соответственно, и пусть отвечающие им равны Тогда (27) имеет вид Элемент равен для значению наибольшему среди Поэтому для этих значений имеем Из приведенных ранее соображений ясно, что верхний левый угол матрицы есть единичная матрица, а верхний левый угол является нулевой матрицей, Поскольку ранг равен порядку матрицы I, то остальные элементы равны нулю. Подобные же соображения, примененные к следующей группе уравнений, показывают, что имеет единичную матрицу в следующем диагональном блоке и нули на остальных местах и т. д. В результате получаем, что каждая матрица имеет диагональный блок, представляющий собой единичную матрицу, причем порядок этой матрицы равен рангу

Лемма 10.2.1. Если то При этом тогда и только тогда, когда X с вероятностью 1 является положительной постоянной.

Доказательство, Утверждение леммы следует немедленно из соотношения

Условие, состоящее в том, что сумма рангов матриц равна эквивалентно тому, что столбцы матрицы

образуют совокупность характеристических векторов матрицы 2, умноженной на некоторую невырожденную матрицу. Действительно, можно выбрать такую матрицу чтобы число строк матрицы не состоящих целиком из нулевых элементов, было в точности равно рангу

Предположим теперь, что матрица не удовлетворяет условию теоремы 10.2.1 (или теоремы 10.2.2). Иными словами, число линейно независимых линейных комбинаций столбцов являющихся характеристическими векторами матрицы , меньше Пусть максимальное число таких линейных комбинаций равно а сами эти линейные комбинации заданы в виде где — матрица размера Пусть матрица размера и ранга такая, что и пусть Тогда состоит из столбцов, являющихся характеристическими векторами столбцов, ортогональных первым столбцам. При этом не существует такой линейной комбинации последних столбцов, которая была бы характеристическим вектором матрицы . В этих условиях где диагональная матрица. Пользуясь тем фактом, что находим, что

Пусть и

Тогда где есть марковская оценка вектора

есть оценка наименьших квадратов этого вектора,

Оценка наименьших квадратов для совпадает, таким образом, с марковской оценкой для и ортогональна как оценке наименьших квадратов, так и марковской оценке для

Для более подробного ознакомления с этими задачами см. Ватсон (1967) и Зискинд (1967) [которые развили идеи Андерсона (1948)].