ДОПОЛНЕНИЯ ПЕРЕВОДЧИКА

В настоящих дополнениях приведены некоторые указания на работы последних лет, непосредственно примыкающие к содержанию работы Гренандера. Ни литературные ссылки, ни, тем более, конкретно указанные здесь результаты не претендуют на исчерпывающую полноту; мы стремились лишь, несколько помочь читателю разобраться как в самой работе Гренандера, так и в применениях и в дальнейшем развитии содержащихся в ней идей.

Глава 1

Весьма полное и современное изложение математической теории случайных процессов содержится в обширной монографии Дуба

Глава 3

Укажем еще один тип координат, весьма важный в современных технических приложениях теории случайных процессов. Пусть стационарный случайный процесс, такой, что его спектральная функция тождественно равна постоянной вне полосы при некотором (это условие на самом деле можно даже еще несколько ослабить). В таком случае при любом фиксированном для почти всех реализаций процесса (т. е. с вероятностью 1) - будет выполняться равенство

(см., например, Беляев [1]), откуда следует, что реализация на всей оси здесь полностью

определяется счетным числом координат Это обстоятельство впервые было отмечено (без строгого доказательства) еще в 1933 г. Котельниковым [11; см. также Питерсон, Бердсал, Фокс [1], где указано аналогичное представление для процессов спектр которых ограничен полосой

Можно также вместо координат пользоваться координатами существуют и другие варианты того же рода.

По поводу выбора в качестве координат процесса его значений на счетном всюду плотном множестве точек см. также замечание о работе Стрибел [2] в дополнениях к § 4.2 гл. 4.

Глава 4

Проблема проверки статистических гипотез, относящихся к случайным процессам, приобрела в последние годы очень большое значение в связи со следующей практической задачей. Пусть нам надо обнаружить некоторый "сигнал" по данным наблюдений, содержащих искажающий "шум являющийся случайным процессом с известными распределениями вероятностей. Таким образом, процесс который на самом деле наблюдается, представляет собой или сумму (если сигнал действительно присутствует), или же один процесс (если сигнала не было). Требуется по полученной из наблюдений одной реализации процесса (на конечном интервале ( который, однако, в некоторых случаях допустимо считать бесконечным) сказать, верна ли гипотеза или же гипотеза При этом в случае, когда сигнал нам известен точно (или же является случайным процессом с

известными распределениями вероятностей), мы будем иметь дело с сравнением двух простых гипотез; если же сигнал может принимать различные значения (например, зависит от одного или нескольких неизвестных параметров), то речь будет идти о проверке гипотезы при наличии многих альтернатив.

В связи с большой практической важностью описанной здесь «задачи об обнаружении сигнала на фоне шума» (в первую очередь для радиолокационной техники) ей в последние годы было посвящено очень много работ; о некоторых полученных при этом результатах мы еще будем говорить в дальнейшем. Хорошим введением в этот круг вопросов, рассчитанным на читателей-инженеров и, в частности, излагающим для них значительную часть гл. 4 настоящей работы Гренандера, является гл. 14 книги Давенпорта и Рута [1]. Несколько более специальный характер носит большой обзор Питерсона, Бердсала и Фокса (см. ниже, дополнения к § 4.4-4.12). См. также по этому поводу сборник статей [1] и монографию Хелстрома

Основная теорема этого пункта является по существу простым следствием теории мартингалов — обстоятельство, которое неявно отмечено, в частности, в § 9 гл. VII книги Дуба . В самом деле, совершенно очевидно, что если -мерное распределение при любом конечном абсолютно непрерывно относительно распределения то при

Отсюда следует, что последовательность неотрицательных случайных величин имеют распределение является мартингалом. Поэтому существование предела

почти всюду относительно (а следовательно, и относительно сразу вытекает из теоремы 4.1 главы VII книги Дуба [1]. (Как отмечено на стр. 312 этой книги, с помощью общей теоремы о сходимости полумартингалов тот же результат может быть получен и без предположения об абсолютной непрерывности распределения относительно Если теперь распределение в бесконечномерном пространстве абсолютно непрерывно

относительно имеет место случай А § 4.2), то и величины образуют мартингал; отсюда в силу той же теоремы 4.1 книги Дуба вытекает, что почти всюду относительно Тем самым исследование случая А завершено. Случаи могут быть после этого сведены к случаю А, как это сделано у Гренандера; можно также непосредственно применить теорию мартингалов и к этим случаям.

Если заданный на конечном или бесконечном интервале 7 случайный процесс и за координаты принимаются его значения на каком-либо всюду плотном на 7 счетном множестве точек то из доказанного выше следует, что (в предположении, что имеет место случай почти всюду относительно где меры, заданные на борелевском поле множеств счетномерного пространства порожденном конечномерными интервалами этого пространства. С этой точки зрения представляет интерес простой результат Стрибел [2], показавшей, что если отвечающая процессу мера заданная на борелевском поле пространства 2 всех вещественных функций, порожденном всевозможными конечномерными интервалами, абсолютно непрерывна относительно соответствующей меры и процесс непрерывен по вероятности относительно меры то при любом выборе множества D производная почти всюду относительно совпадает с Этот результат делает законным использование координат произвольное всюду плотное на 7 счетное множество) в случае любого непрерывного по вероятности случайного процесса

В самом конце § 4.2 в качестве примера упоминается случай, когда координаты могут быть выбраны так, чтобы они были независимыми случайными величинами как относительно вероятностной меры так и относительно меры Сделанное по этому поводу замечание содержит очевидную небольшую неточность: ясно, что для

приложимости к этому примеру закона нуля или единицы надо еще потребовать, чтобы -распределение величины было абсолютно непрерывно относительно соответствующего -распределения . Другой метод доказательства того, что при указанном условии распределение в бесконечномерном координатном пространстве будет или абсолютно непрерывно относительно распределения или же целиком сосредоточено на множестве таком, что был применен в сравнительно старой работе Какутани [1], сумевшего получить также простое условие для того, чтобы можно было отличить случай А от случая В. А именно, им было показано, что в рассматриваемом случае для абсолютной непрерывности относительно необходимо и достаточно выполнение неравенства

если же имеет место крайний сингулярный случай, то выписанное здесь бесконечное произведение обязательно сходится к нулю. В частном случае, когда все распределения нормальные, причем имеют одинаковые математические ожидания, указанное условие может быть преобразовано к виду

где средние квадратичные уклонения распределений Нетрудно понять, что в нормальном случае последнее условие будет необходимым и достаточным для абсолютной непрерывности относительно без всяких дополнительных оговорок, касающихся абсолютной непрерывности относительно если только условиться считать, что когда (и равно когда лишь одна из величин равна нулю).

Результаты Какутани получили дальнейшее развитие в работе Крафта [1], сформулировавшего интересное общее условие крайней сингулярности двух мер в бесконечномерном пространстве и применившего это условие к задаче о

статистической проверке гипотез. О других работах, связанных с указанным результатом Какутани, см. ниже, в дополнениях к

4.4. С точки зрения теории обнаружения сигнала на фоне шума задача этого параграфа может быть истолкована как задача о различении двух сигналов известной нам формы (один из которых, в частности, может тождественно равняться нулю), замаскированных аддитивным нормальным шумом (ср. Дэвис [2], Давенпорт и Рут [1] § 14—15). Полученное здесь условие, которое определяет, будет ли иметь место регулярный случай А или же крайний сингулярный случай В, очевидно, вытекает также и из указанного в дополнениях к § 4.2 результата Какутани.

В работе Стрибел [2] предложена другая форма отношений правдоподобия использующая в качестве координат процесса не величины величины где -всюду плотное на счетное множество. В этом случае явное вычисление не требует решения интегрального уравнения с ядром но зато требует обращения матрицы которое может быть эффективно осуществлено также лишь в исключительных случаях.

Другие результаты, тесно связанные с содержанием § 4.4, можно найти и в работах Питчера [1], Бету [1], Човера. и Фельдмана [1] и Ханена [1, 2].

4.5-4.6. Все результаты этих параграфов без всякого труда переносятся на случай, когда среднее значение процесса согласно гипотезе зависит от нескольких неизвестных параметров:

где известные функции (ср., например, Гренандер, Розенблатт [1], гл. 7; Стрибел [2]).

Случай одного неизвестного параметра:

был подробно исследован Гаеком [3] с помощью теории гильбертовых пространств. Им было показано, что, добавив к совокупности всех конечных линейных комбинаций

вида всевозможные случайные величины такие, что для некоторой последовательности при любом а имеет место соотношение мы придем к гильбертову пространству (со скалярным произведением причем все распределения могут рассматриваться как распределения в При этом в существует случайная величина и (однозначно определяемая соотношением такая, что в ортогональном к и подпространстве все распределения точно совпадают между собой; отсюда следует, что при отношение правдоподобия сводится к отношению двух одномерных гауссовских распределений для величины Ясно, что в этом случае мы будем иметь дело с регулярным или же с крайним сингулярным случаем в зависимости от того, будет ли дисперсия величины и больше нуля или равна нулю; в ряде важных частных случаев результаты Гаека позволяют получить также вполне эффективные критерии для сравнения гипотез .

4.6. В частном случае, когда является преобразованием Фурье рациональной функции интегральное уравнение относительно функции полученное в этом параграфе может быть сведено к дифференциальному уравнению с постоянными коэффициентами и решено в явном виде (см., например, Давенпорт и Рут [1], приложение 2, или Лэнинг и Бэттин [1], гл. 8). Однако полученное решение, вообще говоря, будет содержать несобственную -функцию и ее производные; условие существования решения здесь сводится к условию отсутствия несобственных функций в выражении для

Относительно связи, найденной в этом параграфе формы критерия с решением задачи о построении фильтра, максимизирующего отношение сигнала к шуму, см. Девис [2]; Давенпорт и Рут [1], § 14—15.

4.7. Основной результат этого параграфа сразу следует также и из результатов Какутани, указанны в дополнении к § 4.2.

4.8. В начале этого параграфа отмечается сложность задачи о решении интегрального уравнения с ядром . В этой связи следует иметь в виду, что если является преобразованием Фурье рациональной функции, то соответствующее уравнение может быть решено аналогично тому, как может быть решено уравнение относительно функции выведенное в § 4.6 (см. Давенпорт и Рут [1], Слепян [1], Гельфанд и Яглом [2]). При этом, однако, окончательное определение собственных значений и собственных функций сводится к решению некоторого трансцендентного уравнения (корнями которого и являются а это решение может быть получено лишь при помощи приближенных численных методов.

4.10. Процессом Пойа называется точечный процесс, при котором вероятность появления события в интервале равна где — фиксированные константы, число событий, появившихся за время . В таком случае распределением вероятностей для числа событий, возникших за время будет так называемое распределение Пойа:

При распределение Пойа стремится к распределению Пуассона, а процесс Пойа — к процессу Пуассона.

Гренандер рассматривает лишь случай к которому, очевидно, всегда можно свести общий случай простым изменением масштаба времени.

4.11. Факт отсутствия функции задающей критерий, может быть выведен также из того, что обычный метод решения интегрального уравнения

(см. Давенпорт и Рут [1], приложение 2) приводит к решению

содержащему -функции.

В работах Стрибел [2] и Гаека [3] показано, что в более общем случае сравнения гипотез для нормального процесса с корреляционной функцией

функция правдоподобия будет иметь вид

(функция при этом предполагается дважды дифференцируемой).

Другое обобщение результатов 4.11 содержится в работе Сегучи и Икеда [1], рассмотревших задачу о сравнении гипотез для класса нормальных марковских (но, вообще говоря, нестационарных) процессов получаемых из винеровского процесса при помощи зависящего от точки преобразования масштаба времени и соответствующей нормировки значений процесса. Выписанное в этой работе общее выражение для функции правдоподобия близко по форме к частному выражению, полученному в 4.12.

4.4-4.12. Основное содержание этих параграфов составляет разбор ряда примеров, в которых удается явно определить функцию правдоподобия (а тем самым и наилучший критерий для различения рассматриваемых гипотез) и указать условия, при которых будет иметь место регулярный

случай А или же крайний сингулярный случай В (промежуточный случай в этих примерах ни разу не встречался). В настоящем добавлении мы укажем еще некоторые примеры такого рода и вкратце остановимся на связанных с этими примерами общих результатах.

Начнем с одного частного примера, очень близкого по стилю к содержащимся в § 4.4-4.11, но более близкого к практическим задачам радиолокации. Пусть

где стационарный нормальный процесс с нулевым средним значением и корреляционной функцией , А — известный параметр, случайная величина, равнораспределенная на интервале Явное выражение для отношения правдоподобия отвечающего этой задаче, получено в работе Рейха и Суэрлинга [1] при помощи вычисления отношения функций плотности для значений и последующего перехода к пределу Функция здесь оказалась зависящей лишь от величин после предельного перехода к случаю "белого шума") зависимость от исчезает, и в этом предельном случае наилучший критерий приобретает очень простой вид:

В работе Рейха и Суэрлинга указан также общий подход, позволяющий найти функцию и для большого числа других форм корреляционной функции "шума

В работе Питерсона, Бердсала и Фокса разобран ряд задач, в которых шум является "нормальным белым шумом с обрезанным спектром", т. е. непрерывным нормальным стационарным процессом, значения которого в моменты при некотором являются

независимыми случайными величинами с нулевым средним значением и одинаковой дисперсией. Таким образом, процесс в этих задачах считается задающимся фиксированным конечным числом координат получаемые в этом предположении критерии, разумеется, фактически будут приближенными в смысле, разъясненном в § 4.12 работы Гренандера.

Другие примеры конкретных задач на различение гипотез, возникающих в технике, можно найти в сборнике переводных статей [1] и в книгах Давенпорта и Рута [1] и Хелстрома

В частном случае, когда так называемая мера Винера, отвечающая "винеровскому процессу — нормальному случайному процессу мера, получаемая из меры Винера при помощи некоторых несложных преобразований специального вида, значение отношения правдоподобия может быть выведено из результатов Камерона, Мартина и других авторов, касающихся правил преобразования интегралов по мере Винера при тех или иных способах замены переменной. Так, например, в работах Камерона и Мартина [1], Камерона [1] и Сигала [1] показано, что в случае сравнения гипотез для процесса такого, что разность является винеровским процессом,

если абсолютно непрерывная функция, такая, что в противном же случае меры будут сосредоточены на непересекающихся множествах, т. е. будет иметь место крайний сингулярный случай В. В работах Камерона и Мартина [2], Сигала [1] и Сейдмена [11 рассмотрен случай, когда мера получается из меры Винера при помощи линейного преобразования в функциональном пространстве 2, а в работах Камерона и Мартина [3] и Камерона и Фейгена [11 эти результаты распространены на некоторые типы нелинейных преобразований (см. по этому поводу также обзор Гельфанда и Яглома [1]).

Процесс Винера является нормальным марковским процессом с независимыми приращениями, и, как оказывается, относящиеся к нему результаты могут быть обобщены на сравнительно широкие классы процессов, обладающих хоть одним из перечисленных трех свойств. Заметим прежде всего, что если оба распределения являются нормальными, то в силу результата Какутани [1] (см. также замечание в конце § 4.2 работы Гренандера) следует ожидать, что возможным будет лишь или регулярный случай А, или же крайний сингулярный случай В (ибо координаты процесса здесь можно выбрать так, чтобы они были взаимно независимыми и относительно меры и относительно меры для этого надо только одновременно привести к диагональному виду две положительно определенные квадратичные формы в бесконечномерном пространстве, задаваемые математическими ожиданиями и Мхху). Аккуратное доказательство этого факта (вместе с указанием условий, характеризующих регулярный и сингулярный случаи) приведено в появившихся независимо друг от друга недавних работах Фельдмана [1] (существенно использовавшего более ранние общие результаты Сигала [1]) и Гаека [1]; полученные в этих работах необходимые и достаточные условия регулярности (или, наоборот, крайней сингулярности) нормальных мер внешне выглядят весьма различно, но на самом деле могут быть сведены друг к другу. Еще одна форма общих условий регулярности и сингулярности нормальных мер была предложена Скороходом [3], указавшим также общее представление отношения правдоподобия для регулярного случая.

К сожалению, общие условия Фельдмана, Гаека и Скорохода являются недостаточно конструктивными — проверить, выполняются ли они в данном конкретном случае или нет, дело очень нелегкое (если только не невозможное). Поэтому большое значение приобретают более частные достаточные условия регулярности или сингулярности, эффективно применимые к отдельным важным классам случайных процессов. Важнейшими достаточными условиями сингулярности являются условия, связанные с теми или иными свойствами "почти наверное" реализаций процесса Если можно доказать, что относительно вероятностной меры реализация

процесса с вероятностью 1 обладает определенным свойством, а относительно меры это же свойство встречается с вероятностью 0, то отсюда сразу следует, что распределения сосредоточены на непересекающихся множествах функционального пространства, и по одной реализации процесса мы с вероятностью 1 можем выяснить, имеет ли место гипотеза или гипотеза В частности, для важного класса аналитических случайных процессов (относительно которых см. работу Беляева [1]) по значению одной реализации процесса на сколь угодно малом отрезке временнбй оси можно с вероятностью 1 восстановить значения этой реализации на всей оси. В случае стационарного метрически транзитивного процесса отсюда уже следует, что сколь угодно малый отрезок реализации позволяет с вероятностью определить соответствующую меру Частным случаем этого результата является результат о сингулярности любых двух отличных друг от друга нормальных стационарных мер, хотя бы одна из которых отвечает метрически транзитивному стационарному процессу с ограниченным спектром (ср. Слепян [2]).

Для неаналитических нормальных случайных процессов целый ряд свойств "почти наверное" реализаций процесса, определяемых теми или иными свойствами его корреляционной функции или (в стационарном случае) спектральной функции указан в работах Ханта [1], Лоэва [1], Бекстера [11, Беляева [2], Гладышева [1]. Исходя из этих свойств, можно установить большое число достаточных условий сингулярности двух нормальных мер из которых мы здесь укажем только следующее: если мери, отвечающие нормальным стационарным процессам (или процессам со стационарными приращениями) на произвольном конечном интервале имеющем нулевое среднее значение и спектральные плотности такие, что при и — вещественные постоянные, то для мер имеет место крайний сингулярный случай В (Слепян [2], Гладышев [1]).

Что касается эффективных условий регулярности двух нормальных мер то в этом направлении пока

известно очень мало результатов. Важнейший доказанный факт такого рода — это то, что меры отвечающие нормальным стационарным процессам с нулевым средним значением и рациональными спектральными плотностями такими, что являются абсолютно непрерывными одна относительно другой (см., например, работу Писаренко [1], написанную на инженерном уровне строгости, а также работу Гирсанова [1], содержащую некоторые общие результаты, из которых следует указанный факт, и монографию Пинскера [1], о которой еще будет речь ниже). В работе Писаренко указано также следующее правило для нахождения отношения правдоподобия Для случая таких двух мер

где А — некоторая постоянная (подсчитываемая по определенным правилам), функции, связанные с реализацией рассматриваемого случайного процесса интегральными уравнениями

корреляционные функции процесса относительно мер В частном случае, когда

отсюда нетрудно вывести, что

Близкие результаты можно найти также в работах Гельфанда и Яглома [2] и Пинскера [1], посвященных теории информации. Дело в том, что количество информации содержащейся в одном из двух заданных на интервале случайных процессов относительно второго из них, равно где и меры, отвечающие соответственно процессам мера в пространстве пар функций, определяющая совместное распределение вероятностей значений — мера в том же пространстве, отвечающая случаю независимых процессов математическое ожидание относительно меры (см. Гельфанд и Яглом [2]). Поэтому вычисление величины тесно связано с определением "отношения правдоподобия" т. е. с задачей о сравнении гипотезы о заданном совместном распределении процессов и с конкурирующей гипотезой о том, что те же процессы являются взаимно независимыми; конечной величина может быть лишь тогда, когда при сравнении этих гипотез имеет место регулярный случай. В работе Пинскера [1] введено также понятие "энтропийной плотности" одного случайного процесса относительно другого такого процесса определяемое равенством где математическое ожидание относительно меры (в сингулярном случае или В по определению считается, что Задача о вычислении этой величины естественно, очень близка к задаче о сравнении двух гипотез относительно случайного процесса. В частности, из результатов Пинскера сразу следует, что если меры, отвечающие заданным на конечном интервале нормальным стационарным случайным процессам с нулевым средним значением

и спектральными плотностями хоть одна из которых является рациональной функцией X, не имеющей вещественных нулей, то для мер будет иметь место регулярный случай А или же крайний сингулярный случай В в зависимости от того, будут ли интегралы

оба сходящимися или нет. Результаты Пинскера охватывают также и некоторые более общие случаи (например, случаи, когда средние значения процессов отличны от нуля или когда эти процессы являются многомерными, т. е. и аналогично для

Перейдем теперь к случаю двух марковских мер (т. е. таких, что отвечающие им случайные процессы являются процессами Маркова).

Простейший известный здесь результат таков: если марковские процессы диффузионного типа с описываемые уравнениями Фоккера — Планка с постоянными коэффициентами диффузии и коэффициентами переноса удовлетворяющими некоторым естественным условиям регулярности, то при меры будут сосредоточены на непересекающихся множествах функционального пространства, а при эти меры будут абсолютно непрерывны одна относительно другой, причем плотность меры относительно будет равна

(см., например, Прохоров [1], дополнение 2, а также указанную выше литературу о преобразованиях интегралов по мере Винера). Пусть теперь коэффициенты диффузии зависят от (и являются достаточно гладкими функциями этих двух переменных), тогда при

меры также будут сингулярны одна относительно другой в силу легко доказываемого соотношения

выполняющегося с вероятностью Дальнейшие существенные обобщения этих результатов содержатся в недавних работах Скорохода [2] и Гирсанова [1, 2]. В первой из этих работ указаны широкие достаточные условия абсолютной непрерывности мер для марковских процессов весьма общего типа (включающего диффузионные процессы в виде очень частного случая), и при этих условиях получено выражение для плотности одной меры по другой; во второй работе аналогичные результаты получены для другого интересного класса случайных процессов, естественно обобщающего класс марковских диффузионных процессов (сами процессы здесь могут и не быть марковскими, но должны задаваться стохастическими уравнениями того же типа, что и уравнения Ито для марковских диффузионных процессов), и, наконец, в третьей работе рассмотрены условия сингулярности и регулярности для мер в пространствах функций со значениями из ограниченной области, отвечающих марковским процессам в ограниченной области при тех или иных граничных условиях.

Наконец, для случая двух процессов с независимыми приращениями общие условия абсолютной непрерывности меры по мере и выражение для соответствующей плотности даны в работе Скорохода (эти результаты существенно используются, в частности, и в работе [2] того же автора).

Глава 5

С точки зрения технических приложений основная задача теории оценок может быть сформулирована следующим образом: пусть принимаемый сигнал, зависящий от некоторых неизвестных нам параметров и, кроме того, содержащий еще какие-то случайные параметры с известным распределением вероятностей и искаженный случайными помехами ("шумом “). Требуется по наблюденной на конечном интервале реализации процесса оценить значения неизвестных параметров. В этой постановке задача оказывается очень важной для целей радиолокации; см., например, книгу Давенпорта и Рута [1] и работы Слепяна [1], Юла [1], Суэрлинга [1] и Ханена [1], содержащие конкретные примеры оценок, представляющих непосредственный практический интерес.

6.1. По поводу построения несмещенной оценки наименьшей дисперсии см., например, работу Суэрлинга [1] и цитированную там математическую литературу. Относительно оценки параметра процесса Пуассона см. также Моран [1].

5.4. Полученное здесь условие

однозначно определяющее несмещенную линейную оценку наименьшей дисперсии, имеет простой геометрический смысл. Рассмотрим гильбертово пространство ясно, что всевозможные несмещенные линейные оценки среднего значения будут заполнять в этом пространстве некоторую "гиперплоскость“ М, не проходящую через начало координат О пространства Дисперсия оценки равна поэтому "оценке наименьшей дисперсии будет

отвечать точка ближайшая к точке О. Этой ближайшей точкой, очевидно, будет основание перпендикуляра, опущенного из О на поэтому однозначно определяется условиями, что и что векторы произвольная линейная несмещенная оценка все перпендикуляры Вместо всевозможных несмещенных оценок разумеется, достаточно рассмотреть лишь оценки вида при этом мы как раз и приходим к условию, указанному Гренандером, и одновременно получаем, что

На стр. 85—86 приведена наилучшая оценка/я для случая, когда стационарный процесс, спектральная плотность которого равна единице, деленной на многочлен; при этом, однако, ничего не сказано о том, как именно была найдена эта оценка. Один возможный путь получения этого результата состоит в использовании представления величины указанного в последующей работе Гренандера [1]. Согласно этой работе, для стационарного процесса оценку наименьшей дисперсии можно представить в виде

где при наилучший линейный несмещенный прогноз значения построенный по данным о значениях при если то здесь, естественно, предполагается, что Далее, при некоторых условиях регулярности в той же работе получена еще более удобная формула:

где наилучший линейный прогноз значения отвечающий предположению, что а у — некоторая постоянная (однозначно определяемая условием несмещенности оценки В частном случае процесса рассмотренного в § 5.4, последняя формула позволяет очень просто получить явное выражение для (ибо прогноз здесь находится очень легко и имеет очень простую форму; ср. Яглом

Другой метод нахождения явных формул для опирается на формальное представление этой величины а виде

Отсюда для получается интегральное уравнение

(cp. §§ 5.2 и 4.6), которое в случае, когда корреляционная функция имеет рациональное преобразование Фурье, может быть явно разрешено (см. литературу, цитированную в дополнении к § 4.6). Полученное решение, вообще говоря, будет содержать -функции и их производные, так что наилучшая оценка здесь будет представляться в виде суммы линейных комбинаций значений процесса и всех существующих его производных в крайних точках интервала наблюдения и интеграла от по этому интервалу, взятого с непрерывной весовой функцией. В частном случае, рассмотренном на стр. 84—85, такой подход также приводит к указанной там формуле.

Наконец, еще один метод построения наилучшей оценки для стационарного процесса состоит в представлении в виде

и дальнейшем изучении поведения функции при комплексных значениях этот метод также позволяет просто получить формулу, указанную на стр. 85, и обобщить ее на произвольные стационарные процессы с рациональным спектром (см. Яглом [2]). При этом, в частности, легко показывается, что для таких произвольных процессов

где спектральная плотность процесса откуда сразу следует, что в этом случае среднеарифметическая

оценка является асимптотически эффективной во всем классе линейных оценок.

Большинство результатов, относящихся к оценке постоянного среднего значения стационарного случайного процесса с рациональной спектральной плотностью, без труда обобщается на случай оценки параметров в предположении, что среднее значение представляется в виде

где известные функции. Оба метода нахождения оценки о которых упоминалось выше (метод интегральных уравнений и метод исследования функции , могут быть применены и к построению явных формул для оценок параметров (ср. Лэнинг и Бэттин [1], гл. 8; Бету [2]). Частный случай подобной задачи для процесса где специально исследовался в работах Манна и Моранда [1] и Стрибел [1]. В этих работах наряду с несмещенными оценками наименьшей дисперсии параметров были рассмотрены также и "оценки по методу наименьших квадратов" (не зависящие от явного вида корреляционной функции и играющие в случае среднего значения вида же Роль» которую играет среднеарифметическая оценка параметра в случае и было показано, что при естественном обобщении понятия асимптотической эффективности эти оценки по методу наименьших квадратов оказываются асимптотически эффективными в классе линейных оценок, если это многочлен или тригонометрический многочлен с неизвестными коэффициентами, и не оказываются асимптотически эффективными в большинстве других случаев.

5.5. Условия, наложенные в этом пункте на рассматриваемые случайные процессы, неудобны для практических применений, так как они касаются поведения функции явное нахождение которой во всех случаях, кроме случая рациональной спектральной плотности, является очень нелегким делом. Позже в работе Гренандера [1] было показано,

что для случайных процессов от дискретного аргумента (для случайных последовательностей) эти условия можно заменить, например, требованием, чтобы процесс был регулярным и имел положительную спектральную плотность обладающую непрерывными производными первых двух порядков. Более сильный результат того же рода, относящийся к процессам от непрерывного аргумента, был получен Цзян Цзепеем [1], показавшим, в частности, с его помощью, что основной вывод § 5.5 об асимптотической эффективности среднеарифметической оценки величины в классе линейных оценок остается справедливым для всех регулярных случайных процессов, таких, что соответствующая спектральная плотность положительна и непрерывна в точке Одновременно Цзян Цзепеем был получен также более общий результат, согласно которому в случае среднего значения вида с известными оценка по методу наименьших квадратов параметров будет асимптотически эффективной в классе линейных несмещенных оценок этих параметров для всех регулярных стационарных процессов таких, что соответствующая спектральная плотность положительна и непрерывна в точках

Другой класс стационарных случайных процессов, для которых доказана асимптотическая эффективность среднеарифметической оценки среднего значения в классе всех линейных несмещенных оценок, представляют собой процессы с выпуклой корреляционной функцией (см. Гаек [I]). В этом случае доказано также, что несмещенная оценка наименьшей дисперсии при любом допускает представление вида

где некоторая неубывающая функция такая, что

Для широкого класса нормальных процессов вида где эффективность оценок а параметров получаемых по методу наибольшего правдоподобия, доказана в работе Стрибел [2], содержащей также и общие формулы (вообще говоря, малопригодные для практического использования), задающие эти оценки (ср. дополнение к § 4.4). Обобщение последнего результата § 5.6 на случай некоторых нестационарных нормальных марковских процессов имеется в работе Сегучи и Икеда [1] (ср. дополнение к § 4.11).

В работе Слепяна [1] указана оценка наибольшего правдоподобия амплитуды V колебания , построения по реализации процесса

— нормальный стационарный "белый" или "марковский" шум с наблюдавшейся на конечном интервале, и доказана эффективность этой оценки. Более общий случай оценки параметра а такого, что где известная функция, рассмотрен в работе Гаека [3], о которой уже шла речь в дополнении к § 4.5 — 4.6.

6.9. Из результатов этого параграфа в силу центральной предельной теоремы для слабо зависимых случайных величин (см., например, Волконский и Розанов [1]) сразу вытекает также, что в указанных условиях оценка наибольшего правдоподобия будет и асимптотически нормальной.

6.10. Теорема о необходимых и достаточных условиях метрической транзитивности нормального стационарного процесса немного раньше, чем Гренандером, была доказана Маруяма [1]. Некоторые достаточные условия метрической транзитивности стационарных процессов не являющихся нормальными, формулируемые в виде ограничений, накладываемых или на характеристический функционал процесса, или же на его семиинварианты, можно найти в недавней заметке Леонова [1].

6.14. Проблема оценки корреляционной функции (или, что то же самое, спектральной функции или плотности) эргодического стационарного случайного процесса по одной его реализации представляет очень большой практический интерес, и ей посвящена обширная специальная литература. См. по этому поводу, например, монографии Бартлетта [1], гл. 9, и Гренандера и Розенблатта [1], гл. 4 и 6, где рассмаривается в основном случай процессов с дискретным параметром, и небольшую книгу Блекмена и Тьюки [11, посвященную процессам с непрерывным параметром; в этих книгах можно найти также и дальнейшие ссылки.

Глава 6

В этой главе вкратце разбираются некоторые вопросы, относящиеся к теории прогнозирования (экстраполирования) и фильтрации случайных процессов, развитой первоначально Колмогоровым [1, 2] и Винером [1] в применении к случаю стационарных процессов заданных на полуоси — Математически аккуратное изложение основных положений теории Колмогорова — Винера можно найти в монографии Дуба [1], гл. 12; см. также обзор Яглома [1] и книги Давенпорта и Рута [11, гл. 11; Ленинга и Бэттина [1], гл. 7, и Солодовникова [1], содержащие многочисленные примеры и ссылки на журнальные статьи. Задача экстраполирования и фильтрации стационарных и родственных им случайных процессов, заданных на конечном интервале, рассматривалась в работах Заде и Рагадзини [11 и Яглома [2, 3]; см. также Ленинг и Бэттин [1], гл. 8, и Солодовников [11, гл. 8. Общий подход к задачам прогноза и фильтрации произвольных случайных процессов, намеченный в § 6.2, получил дальнейшее значительное развитие в работах Девиса [1] и Пугачева [1].