§ 4. Общее решение задачи о прогнозе (случай дискретного параметра)

Теорема 4.1. Если ортонормированная последовательность случайных величин, определено равенством

то процесс стационарен широком смысле и имеет спектральную плотность При этом процесс регулярен, а средний квадрат о ошибки прогноза на шагов вперед удовлетворяет неравенству

(4.2) остается в силе и в более общем случае, когда не предполагается, что задается равенством (4.1), а предполагается лишь, что спектральная функция процесса (не обязательно абсолютно непрерывная) при почти, всех X (относительно меры Лебега) имеет производную, представимую в виде

В обоих случаях равенство в (4.2) не может достигаться ни для какого если функция имеет нули в круге

Согласно теореме 4.1 гл. IV, ряд для в (4.1) сходится в среднем. Согласно § 8 гл. X, процесс может быть представлен в виде (4.1) тогда и только тогда, когда его спектральная функция абсолютно непрерывна и ее производная дается формулой (4.3).

Докажем (4.2) для доказательство в общем случае проводится аналогично. Средний квадрат ошибки прогноза на один шаг вперед для любой конечной прогнозирующей суммы легко подсчитывается; именно,

Таким образом, Предположим теперь, что где Докажем, что в этом случае Прежде всего, в силу равенства

так что, полагая здесь имеем

где ряды в обеих частях равенства сходятся в среднем. Далее.

где последний ряд сходится в среднем, так что Заметив теперь, что равенство

определяет процесс, имеющий ту же спектральную плотность, что и процесс а именно, спектральную плотность

Следовательно, сшибка прогноза для этих двух процессов также одинакова, и в силу уже доказавного неравенства мы имеем

Это и завершает доказательство нашего предложения.

Покажем теперь, что любсй регулярный процесс мсщет быть разложен на сумму регулярного и сингулярнсго врсцесссв кавсническсго Еида. Пусть -случайные геличины, образующие регулярный процесс; определим величины равенством

Так как разность ортогональна к то она ортогональна и к любсй развести Таким сбразсм, величивы образуют ортонормированную последовательность, и мы можем представить в виде суммы ряда Фурье по зтсй последовательности и остатка

Очевидно, есть проекция на замкнутое линейное многообразие, порожденное величинами ортогонально этому многообразию. Из определения величины ясно, что следовательно, и принадлежат Итак,

Геометрический смысл (4.5) может быть пояснен следующим образом. Из перечисленных ныше соотношений ортогональности и включения следует, что ортогонально к Если теперь ортогонально каждому Обратно, предположим, что для некоторого и что ортогонально ко всем В таком случае будет принадлежать замкнутому ливейному многообразию, порожденному величиной и величинами, лежащими в всего лишь другой способ описания многообразия и поскольку величина ортогональна и к то отсюда вытекает, что . С помощью наших символов это рассуждение можно записать следующим образом:

Повторяя это рассуждение, найдем, что для всех т. е. что . Таким образом, многообразие состоит из всех слугчаиных величин многообразия ортоговальных к (при любом иначе говоря, многообразие вместе с одномерными многообразиями, порожденными взаимно ортогональными величинами порождает

Равенство (4.5) представляет как сумму его проекций на эти ортогональные одномерные многообразия и члена -его проекции на вклада в со стороны бесконечно удаленного прошлого процесса.

Пусть замкнутое линейное многообразие, порожденное величинами Докажем, что при всех и; для этого, разумеется, достаточно показать, что если то совпадает со своей проекцией на Так как все ортогональны ко всем то с вероятностью 1

В силу (4.5) замкнутое линейное многообразие, порожденное величинами совпадает с Следовательно, величина в правой части равенства (4.6) ратна т. е. равна поскольку

Аналогичные рассуждения показывают, что величина принадлежит замкнутому линейному многообразию, порожденному величинами

Дадим на этот раз геометрическое доказательство. Случайная величина принадлежит многообразию являющемуся в сплу (4.5) замкнутым линейным многообразием, порожденным величинами как величины ортогональны к и к то их можно здесь не учитывать. Таким образом, замкнутое линейное многообразие, порожденное величинами совпадает с многообразием, порожденным величинами

Оба процесса стационарны в широком смысле. Так как то принадлежит замкнутому линейному многообразию, порожденному величинами другими словами, процесс является сингулярным. Пусть спектральные плотности процессов соответственно, Так как и так как все ортогональны всем то

Из этой ортогональности нытекает также, что, аппроксимирующая сумма используемая при построении прогноза, разлагается на две ортогональные суммы,

первая из этпх сумм содержит только величины вторая — только величины Мы покажем, что прогнозирующей функцией для всех трех процессов может служить одна и та же функция так что если написанная выше линейная комбинация является -членным приближением к наилучшему линейному прогнозу величины то она распадается на сумму таких же комбинаций величин являющихся приближениями к наилучшему прогнозу соответственно,

Мы можем теперь явно выписать наилучший прогноз для процесса

Действительно, выражение в правой частп этого равенства является случайной величиной из поскольку

кроме того, при таком определении разность

ортогональна к Те же рассуждения показывают, что бесконечная сумма в правой части (4.7) является наилучшим (в смысле метода наименьших квадратов) линейным прогнозом величины по величинам Средний квадрат ошибки при прогнозировании тот же самый, что и при прогнозировании именно, он равен

Если — прогнозирующая функция процесса на шагов вперед, то

Но так как по определёнпю принадлежит замкнутому линейному многообразию порожденному функциями при замыкании в смысле среднего квадратичного с весовой функцией то эта функция будет принадлежать и замкнутым линейным многообразиям, порожденным темп же функциями но при замыкании с весовой функцией или [поскольку обе эти весовые функции меньше, чем Поэтому два интегральных слагаемых во второй строке формулы (4.9) не меньше, чем, соответственно, средние квадраты ошибок прогноза на шагов вперед для процессов т. е., соответственно, чем с и 0; следовательно, первый из этих интегралов равен , а второй равен 0. Другими словами, мы как раз и доказали, что является прогнозирующей функцией на шагов вперед для процессов одновременно.

Процесс стационарен в широком смысле и имеет спектральную функцию, тождественно равную единице. Записывая спектральное представление процесса

где процесс с ортогональными приращениями, мы получаем, что

Если записать спектральное представление процесса

то приращения процесса будут ортогональны приращениям процесса Спектральное представление процесса может быть теперь записано в виде

так что процесс в спектральном представлении (2.1) процесса здесь равен

Найдем теперь функции от X, отвечающие соответствии (2.2), причем заодно мы определим и Если соответствует функция то

и, приравнивая подинтегральные функции, мы получаем, что для почти всех (в смысле меры Лебега) значений X

и для почти всех (в смысле меры значений X

Последние два условия совместимы только в том случае, если существует множество нулевой лебеговой меры такое, что

т. е. если является сингулярной монотонной функцией. В дальнейшем мы будем называть это множество множеством роста функции Так как из выражения для следует, что процесс имеет абсолютно непрерывную спектральную функцию со спектральной плотностью, равной

(см. § 8 гл. X), то мы доказали, таким образом, что разложению на регулярвый процесс и детерминированный процесс соответствует в терминах функций от X разложение на сумму абсолютно непрерывной компоненты и сингулярной компоненты функция соответствующая однозначно определяется с точностью до значений на множестве нулевой меры написанными выше равенствами. Очевидно, можно принять

Отсюда вытекает, что за функции от X, соответствующие мы можем принять следующие функции:

Так как прогнозирующая на шагов вперед функция соответствует То, то очевидно

Из полученных результатов следует, что величины и могут быть представлены в виде

где дополнение множества до всего интеграла В § 5 гл. X мы уже рассматривали разложение процесса на процессы с непересекающимися спектрами и показали, что это разложение всегда может быть осуществлено при помощи линейных операций. Теперь мы показали, что в регулярном случае разложение, выделяющее сингулярную компоненту спектральной функции, может быть осуществлено при помощи линейной операции, действующей только на прошлое процесса, и соответствует выделению детерминированной компоненты процесса. Заметим, что прогноз по величинам приближается к при Таким образом, по очень отдаленному прошлому может быть восстановлена только детерминированная компонента процесса, и, как и следовало ожидать,

В разложении регулярного процесса регулярная компонента всегда присутствует, но детерминированная компонента, т. е. процесс разумеется, может и отсутствовать, т. е. может быть

Полученные здесь результаты о разложении могут быть суммированы в виде следующей теоремы:

Теорема 4.2. Пусть регулярный процесс. Тогда можно представить в виде

где

При этом существуют только одна последовательность постоянных и только одна последовательность случайных величин удовлетворяющих втим условиям.

В указанном представлении процесса процесс является регулярным, а процесс детерминированным. Прогноз здесь дается формулой (4.7), а ошибка прогноза равна и совпадает с ошибкой прогноза для процесса Спектральные функции процессов равны

соответственно абсолютно непрерывной и сингулярной компонентам спектральной функции процесса

В этой теореме нам осталось только доказать единственность коэффициентов с, и случайных величин при указанных условиях. Из этих условий сразу следует, что Далее, величина должна даваться равенством

это следует того, что при таком определении и разность ортогональна к Отсюда ясно, что однозначно определяется исходным процессом. Так как этот процесс регулярен, то следовательно, однозначно определяется условием, что оно положительно, и поэтому также определяется однозначно с точностью до значений на множестве вероятности 0. Наконец, с. при теперь однозначно определяются как коэффициенты Фурье (соответствующая формула была уже написана выше).

Теоремы § 6 гл. IV позволяют придать полученным результатам следующую аналитическую форму:

Теорема 4.3. Стационарный процесс является регулярным тогда и только тогда, когда для почти всех (относительно меры Лебега) значений X и

В регулярном случае постоянные фигурирующие в теореме 4.2, удовлетворяют следующим условиям, которыми они определяются однозначно:

(последнее равенство верно для почти всех X относительно меры Лебега). Эти постоянные могут быть найдены из соотношений

Отметим, что эта теорема дает явное выражение для Для доказательства теоремы надо сделать лишь несколько замечаний. Мы уже видели, что в регулярном случае является абсолютно непрерывной компонентой Это значит, что для почти всех X (относительно меры Лебега)

Следовательно, по теореме 6.2 гл. для почти всех X и имеет место (4.12). Обратно, если для почти всех X и выполнено условие (4.12), то можно представить, как квадрат модуля ряда вида (4.13) (см. теорему 6.2 гл. IV); после этого регулярность процесса сразу следует из теоремы 4.1. Таким образом, (4.12) действительно является условием, необходимым и достаточным для регулярности.

Согласно теореме 4.1, постоянные фигурирующие в теореме 4.2, должны обладать тем свойством, что [так как средний квадрат ошибки прогноза для процессов удовлетворяет (4.2) со знаком равенства]. Для вывода формулы (4.13) для заметим, что если выполнено (4.12), то согласно теореме 6.2 гл. IV, мы можем представить функцию в виде

где

Но тогда, согласно теореме 4.1, ошибка прогноза на один шаг вперед для процесса (имеющего спектральную плотность не меньше Следовательно, . С другой стороны, согласно теореме 6.2 гл. IV [см. гл. IV, равенство (6.7)], обязательно верно и обратное неравевство, так что Таким образом, условия (4.13) действительно выполняются. Обратно, согласно теореме 6.2 гл. IV, условия (4.13) однозначно определяют постоянные причем их можно вычислить с помощью (4.14). Заметим, что если можно представить в виде

где не все равны нулю, то, сдвигая, если нужно, индексы у величин, всегда можно добиться выполнения условия Согласно теореме 4.1, такой процесс будет регулярвым. Так как в нашем случае функция не имеет сингулярной комповевты, то процесс не будет иметь детерминированней кемпоненты. Однако псстсяввые в (4.16) совсем не обязаны совпадать с однозначно определенными постоянными, фигурирующими в теоремах 4.2 и 4.3, даже если величивы выбравы так, что коэффпцпевт действителен и положителен (последнее всегда можно сделать, и мы будем считать, что это сделано). Но если условия (4.13) здесь не выполнены, то всегда будет существовать однозначно определенная другая последовательность для которой эти соотношения уже выполняются, и будет существовать другая ортснормирсвавная последовательность такая, что

Если процесс можно представить в виде

то этот процесс имеет абсолютно непрерывную спектральную функцию и для него

Так как любая интегрируемая неотрицательная функция может быть представлена в виде (4.18) (сумма в этой формуле есть просто ряд Фурье любой функции, равной по модулю квадратному корню из то единственным ограничением, накладываемым возможностью представления (4.17), является требование абсолютной непрерывности спектральной функции Процесс при этом может быть либо регулярным, но без детерминированной компоненты, либо сингулярвым.

В противоположном крайнем случае, когда спектральная функция процесса сингулярна, этот процесс не может быть регулярным, поскольку здесь для почти всех X по мере Лебега. Интересно отметить, что хотя детерминированная компонента регулярного процесса всегда будет процессом такого типа, но, вообще говоря, это не есть самый общий вид сингулярного процесса. Действительно, согласно теореме 4.3, спектральная функция сингулярного процесса может быть и абсолютно непрерывной; нужно лишь, чтобы нарушалось условие (4.12).

Нам будет полезно получить еще явное представление линейных многообразий и в терминах функций от Многообразию 331 соответствует функциональное многообразие замкнутое линейное многообразие, порожденное функциями [с весом многообразию соответствует Поскольку определения многообразий и зависят от выбора функции но не включают никаких вероятностных понятий, то мы дадпм здесь описания этих многообразий, избегая таких понятий.

Теорема 4.4. Пусть монотонно неубывающая функция, определенная при и такая, что Обозначим через ее сингулярную компоненту, и пусть множеством роста компоненты является множество лебеговой меры 0.

(I) Если самое большее на множестве лебеговой меры и если

то имеется одна и только одна последовательность постоянных удовлетворяющих условиям (4.13); постоянные могут быть найдены, например, из соотношений (4.14). Многообразие состоит из всех функций а, измеримых относительно обращающихся в при почти всех (относительно меры Лебега) значениях X и таких, что

Многообразие состоит из всех функций вида

где а — функция описанного выше типа и Если условия пункта (I) не выполняются, то для всех и это многообразие состоит из всех функций измеримых относительно

и таких, что

(I) Если существуют постоянные такие, что и выполняется равенство (4.18), и если задается с помощью так, как описано в пункте то эти с точностью до произвольного постоянного множителя, равного по модулю единице, совпадают с однозначно определенными константами, описанными в (I).

(II) Если такое, как в пункте (II), то (4.19) не может иметь места.

Если , то теорема, очевидно, верна [причем имеет место случай пункта в дальнейшем будет удобно с самого начала исключить такую возможность. Если рассматривать X как случайную величину то процесс определенный равенством

будет стационарным в широком смысле и будет иметь спектральную функцию Наша теорема, таким образом, обращается в теорему о стационарных в широком смысле процессах и может быть выведена из уже доказанных в настоящем параграфе теорем. Некоторых пояснений требует только описание многообразий Мы видели, что в регулярном случае является замкнутым линейным многообразием, порожденным величинами так что здесь является замкнутым линейным многообразием [замыкание с весовой функцией порожденным функциями

т. е. совпадает с многообразием, описанным в пункте (I). Многообразие есть замкнутое линейное многообразие, порожденное многообразием и величинами с так что есть замкнутое линейное многообразие 4 замыкание в том же смысле, что и выше), порожденное и функциями

Рассматривая только функции на дополнении множества [где весовая функция сводится к найдем, что состоит из всех функций вида

где — функция из замкнутого линейного многообразия (замыкание с весом порожденного функциями т. е. любая функция вида

В нерегулярном случае многообразие состоит из всех функций, принадлежащих замкнутому линейному многообразию, порожденному совокупностью функций совпадает с многообразием, описанным в пункте (II).