10.2.3. Асимптотическая эффективность оценок наименьших квадратов

Пусть случайный процесс с Положим

Если последовательные значения для любого образуют вектор у, удовлетворяющий соотношениям (1) и (2) с то марковская оценка и оценка наименьших квадратов вектора а также ковариационные матрицы этих оценок выражаются соотношениями (3), (4), (5) и (6) соответственно. Нас интересует сейчас вопрос о том, при каких условиях обе ковариационные матрицы (5) и (6) будут асимптотически эквивалентны, в том смысле что

Нормировка предполагается здесь одинаковой для обеих матриц и такой, что пределы в (58) нетривиальны. Мы ставим этот вопрос и для одной заданной ковариационной последовательности и для класса всех ковариационных функций с непрерывными положительными спектральными плотностями. Такие задачи впервые были рассмотрены Гренандером (1954), Розенблаттом (1956), Гренандером и Розенблаттом (1957).

Для того чтобы получить ответ на подобные вопросы, необходимо сделать определенные предположения о последовательности независимых переменных. Пусть

Тогда Необходимые предположения таковы.

Условие 10.2.1. при

Условие 10.2.2.

Условие 10.2.3. Предел при отношения

существует для всех принимающих значения

Пусть

Условие 10.2.4. Матрица не вырождена.

Первое предположение означает, что вклад каждой последовательности неограниченно возрастает с ростом Т. Благодаря второму предположению исключается возможность заметного вклада последних членов в сумму квадратов при больших Т. Третье предположение приводит к тому, что корреляции между независимыми переменными при всех достаточно больших мало отличаются от некоторых фиксированных значений. Наконец, четвертое условие вводится из соображений удобства вычислений.

Последовательность является положительно определенной последовательностью эрмитовых матриц, т. е.

где суммирование проводится по любому конечному множеству индексов, произвольная последовательность действительных чисел, произвольный комплексный вектор размерности Отсюда следует, что существует эрмитова матрица с положительно полуопределенными приращениями, такая, что

Пусть

Тогда

где

Для того чтобы найти пределы величин

и

сделаем следующее предположение о последовательности ковариаций.

Условие 10.2.5. Имеет место представление

с функцией непрерывной

Указанные пределы найдем, аппроксимируя спектральную плотность тригонометрическими полиномами такими, что

Поскольку то является спектральной плотностью. Ей соответствует ковариационная последовательность Если то и будет спектральной плотностью, порождающей ковариационную последовательность Однако в ряде доказательств неотрицательность не является необходимой.

Лемма 10.2.6. Обозначим Если выполнено соотношение (70), то для любого вектора х

Если, кроме того, то для любого вектора

Доказательство. Прежде всего

Аналогичные выражения имеют место для (Если при некотором значении X отрицательно, то уже не будет ковариационной последовательностью. Однако и в этом случае соотношения (71) и (74) выполняются.) Из (70) вытекает, что

Последнее равносильно (71). Что касается (72), то справедливость неравенства для всех х эквивалентна тому, что корни уравнения положительны и не превосходят 1. Они же будут являться и корнями уравнения а отсюда следует справедливость первого неравенства в (72) для всех х. Аналогично доказывается и второе неравенство.

Теорема 10.2.6. При условиях 10.2.1, 10.2.2, 10.2.3 и 10.2.5

Доказательство. Идея состоит в том, чтобы доказать, что левая часть (75) равна Последняя же сумма может быть представлена в виде а это и есть правая часть (75). Однако имеется некоторое затруднение, связанное с тем, что число слагаемых в сумме (67) неограниченно возрастает, и с тем, что мы исходим из непрерывности а не из условия . [Предположение о непрерывности было сделано по той причине, что оно используется и при доказательстве теоремы 10.2.7.1 По теореме 7.5.2 для любого найдутся такие два тригонометрических полинома,

с что выполняется (70) и

Далее,

где Для произвольного вектора у размерности положим, Тогда

Поэтому

Подобным же образом получаем, что

Поскольку произвольно, из (79) и (80) вытекает

Так как последнее соотношение выполняется для любого вектора у, отсюда и следует утверждение теоремы.

Условие 10.2.6. Функция определяемая в (69), удовлетворяет соотношению

Теорема 10.2.7. При условиях 10.2.1, 10.2.2, 10.2.3, 10.2.5 и 10.2.6

Доказательство. В силу следствия 7.5.2 для любого найдется такая парй спектральных плотностей, а именно, соответствующих некоторой паре процессов авторегрессии, что при этом выполняются соотношения (70) и

Функция является спектральной плотностью процесса удовлетворяющего стохастическому разностному уравнению

в котором последовательность некоррелированных случайных величин с нулевыми средними и единичными дисперсиями. Предположим, что Элементы матрицы равны

Для они равны

(См. § 6.2.) Пусть

где выбраны так, что

[Условием (88) треугольная матрица В определяется однозначно. Последние строк правой части (87) непосредственно восстанавливаются по имеющимся представлениям (85) и (86).] При этом

Для произвольного вектора у размерности положим Тогда

и

(см. скан)

Аналогично получаем

Поскольку выбирается произвольно, то из (91) и (92) вытекает, что

Это соотношение выполняется для каждого вектора что и доказывает теорему.

Следствие 10.2.1. При выполнении условий 10.2.1-10.2.5

пры выполнении условий 10.2.1-10.2.6

Здесь использован тот факт, что

Пусть

где Поскольку то множество симметрично относительно нуля, так что матрицы и действительны и положительно полуопределены. При этом

Существует такая невырожденная матрица что где диагональная матрица

с элементами Положим Тогда матричная функция и ее приращения положительно полуопределены. Кроме того,

Две интересующие нас предельные нормированные ковариационные матрицы будут совпадать тогда и только тогда, когда (103) равно Диагональные элементы матриц (101), (102) и (103) равны

В силу того, что приращения функций неотрицательны, для каждого является функцией распределения вероятностей. Выражение (105) можно рассматривать как математическое ожидание случайной величины, имеющей такое распределение, а как математическое ожидание обратной ей по значениям случайной величины. Если (103) есть то (106) равно и из леммы 10.2.1 вытекает, что для каждого функция имеет только одну точку роста, причем в этой точке она имеет скачок величины 1.

Обратно, пусть каждая из функций имеет только одну точку роста. В соответствии с (104), в этой точке будет скачок величины 1. Пусть скачки диагональных элементов матричной функции соответствуют значениям и, среди которых различными являются Поскольку приращения положительно полуопределены, возрастание недиагональных элементов может происходить только путем скачков при тех же значениях Пусть обозначает приращение в точке

Тогда (101) принимает вид

Матрицы соответствуют отличным от нуля матрицам из доказательства теоремы 10.2.2. При этом диагональный блок матрицы является единичной матрицей, порядок которой равен числу диагональных элементов возрастающих в точке Все другие блоки являются нулевыми матрицами. Ранг матрицы совпадает с порядком единичного блока. Соотношения (101) и (102) принимают вид

Теорема 10.2.8. Для асимптотической эффективности оценок наименьших квадратов при условиях необходимо и достаточно, чтобы каждый диагональный элемент матричной функции возрастал только в одной точке.

Отметим, что число диагональных элементов матрицы равных 1, совпадает с рангом

Следствие 10.2.2. Для асимптотической эффективности оценок наименьших квадратов необходимо и достаточно, чтобы матричная функция имела точек роста, где сумма рангов приращений функции

Множества являются множествами значений X, на которых возрастает Поэтому

Теорема 10.2.9. Для асимптотической эффективности оценок наименьших квадратов при условиях необходимо и достаточно, чтобы на множестве тех X, при которых возрастает спектральная плотность принимала всего значений, где равно сумме рангов интегралов по тем множествам значений X, на которых принимает эти значений.

Равные единице диагональные элементы матрицы должны располагаться рядом, а диагональные блоки, порождаемые ими

должны составлять единичные подматрицы. Учитывая это, соотношение (108) можно переписать в виде

где матрица имеет порядок, равный рангу В силу того, что единичные матрицы в не перекрываются,

Множества значений , при которых возрастает называются элементами спектра Объединение этих множеств называют спектром Поскольку множество симметрично, интеграл (110) содержит только действительную часть Фактически соотношение (110) имеет вид

Отметим, что где интегрирование производится по объединению всех указанных множеств значений X, и что последовательность матриц является ортогональной в метрике в силу (112).

Теорема 10.2.10. При условиях оценки наименьших квадратов асимптотически эффективны для всех стационарных процессов с непрерывными положительными спектральными плотностями тогда и только тогда, когда возрастает не более, чем при значениях где сумма рангов приращений функции

Доказательство. Теорема 10.2.9 может оставаться справедливой для всех указанных спектральных плотностей только в том случае, если матрица положительно полу определен а не более чем в

Следует отметить, что если действительная часть не возрастает на некотором множестве значений Я, то на этом множестве не возрастает также и мнимая часть Поэтому указанный критерий можно формулировать как с использованием самой так и с использованием лишь ее действительной части.

Если спектральная плотность в рассматриваемой задаче неизвестна, то марковские оценки получить не удается и вместо них можно вычислять оценки наименьших квадратов. Единственная возможность гарантировать асимптотическую эффективность последних состоит в использовании последовательности независимых, переменных, удовлетворяющей условиям теоремы 10.2.10. Рассмотрим теперь некоторые примеры. Предположим, что

Тогда

При этом

Здесь диагональная матрица, диагональные элементы которой являются величинами, обратными квадратным корням из диагональных элементов матрицы

В качестве другого примера рассмотрим независимые переменные Тогда

и приближенно равно (См. упр. 14.) Таким образом, при каждом

Последнее выражение не зависит от А и поэтому имеет единственный скачок в точке равный матрице

ранга

Если гц является полиномом степени положительным старшим коэффициентом, то получается та же самая последовательность и тот же результат относительно Это связано с тем, что при указанном условии старший член доминирует над остальными. Если гц являются полиномами степени с положительными старшими коэффициентами, то в этом случае

имеет скачок при элемент совпадает с (120).

Объединим теперь оба примера. Именно пусть переменные разбиты по индексу на множества, каждое из которых соответствует некоторой частоте Будем предполагать, что и что частоте соответствует переменных Пусть в множестве с индексом переменные имеют вид где полином степени с положительным старшим коэффициентом. Пусть в множестве с индексом переменные имеют вид где четное и при этом полиномы степени с положительными старшими коэффициентами. Наконец, в последнем из указанных множеств переменные пусть имеют вид где полином степени При таких условиях если находятся в различных множествах. Если находятся в первом множестве, то задается соотношением (120). Для находящихся во множестве

с индексом значения составляют матрицу

размера Здесь элемент матрицы равен члены с находятся в первом, а члены с во втором подмножестве множества с индексом Наконец, если находятся в последнем множестве, то Спектральная функция возрастает только скачками. Скачок в точке имеет элементы (120) для и нули на остальных позициях. Скачки при имеют в качестве диагональной подматрицы матрицу (121), в которой заменен на (1/2), на а остальные элементы на нули. Скачки при имеют элементы в последней диагональной подматрице и нули вне ее.

По-видимому, простейшим является случай В этом случае

и каждый элемент имеет единичный скачок при Оценкой наименьших квадратов для является и эта оценка асимптотически эффективна.

Предельная ковариационная последовательность (122) и соответствующая ей спектральная функция возникают и в другом случае, не равносильном предыдущему. Именно, пусть Пусть принимает значения причем а и

где целые числа, Составим последовательность таким образом, чтобы предельные относительные частоты появлений в ней соответственно равнялись С этой целью положим для для Затем возьмем для для Последовательность будет состоять из аналогичных конечных подпоследовательностей длины причем подпоследовательности первые элементов равны а последние элементов равны При предельная относительная частота появлений а равна

поскольку приращение числа появлений а в пределах подпоследовательности равно лишь тогда как общее число элементов в первых подпоследовательностях равно

Поэтому пределом среднего служит (123). Более того, для этой последовательности выполняется и (122). Это вытекает из того факта, что при из последовательности точно произведений равны точно произведений равны и точно таких произведений равны Таким образом, здесь и каждый элемент имеет единичный скачок при Полученный результат показывает, что спектральная функция (или, что равносильно, последовательность ковариаций), не определяет однозначно последовательности независимых переменных. Она не определяет даже предельных частот этих переменных.

Более того, при оценивании одну из указанных последовательностей нельзя заменять другой. Дело в том, что эти последовательности существенно различаются, так как

отличен от 1. Если если при этом для оценки использовать то хотя такая оценка и будет иметь дисперсию, асимптотически эквивалентную дисперсии однако она будет асимптотически смещенной, поскольку

Положение здесь существенно отличается от конечномерного случая. Предположим, что где простой характеристический корень матрицы , соответствующий характеристическому вектору т. е. Поскольку то так, что для для Поэтому в случае оценка будет несмещенной эффективной оценкой параметра Действительно, Аналогом вектора будет последовательность аналогом последовательность

и аналогом представления представление Соотношениям для для соответствует соотношение

справедливое для любой непрерывной функции

Асимптотически функции можно рассматривать в некотором смысле как характеристические векторы всех ковариационных матриц стационарных процессов. Дело в том, что при

Для достаточно больших правая часть (126) сколь угодно близка к

Если последовательность такова, что функция абсолютно непрерывна, то в этом случае оценки наименьших квадратов не могут быть асимптотически эффективными, если спектральная плотность принимает на спектре более значений.

Так, например, если то где Здесь не имеет скачков. Грубо говоря, это будет в том случае, когда является реализацией стационарного (векторного) процесса.