7.6.2. Проекции и линейное прогнозирование

Мы будем рассматривать прогнозирование случайной величины по известным (части прошлого) или по (всему прошлому) для случайного процесса со средним значением и ковариационной функцией Пусть прогноз; в качестве критерия наилучшего прогноза возьмем Среднеквадратичная ошибка прогноза будет минимальна, если взято как условное математическое ожидание величины при заданных или Это условное математическое ожидание будет, конечно, зависеть от распределения величин или вероятностной меры для Если процесс гауссовский, то условное математическое ожидание будет линейной функцией от или от в других примерах оно может и не быть линейной функцией.

Будем считать линейной функцией, в случае прогнозирования по или пределом таких линейных функций. В таком случае зависит только от Эту проблему удобно сформулировать в терминах геометрии гильбертова пространства.

Линейное многообразие есть непустое подмножество гильбертова пространства, такое, что для каждых действительных принадлежит подмножеству, если х и у принадлежат этому подмножеству. Линейное многообразие замкнуто, если оно содержит предел каждой последовательности Коши, содержащейся в нем. Конечное или бесконечное множество точек гильбертова пространства может порождать замкнутое линейное многообразие, которое состоит из всевозможных конечных линейных комбинаций точек этого множества и их пределов. Говорят, что замкнутое линейное многообразие натянуто на исходное множество точек этого пространства. Замкнутое линейное многообразие является гильбертовым пространством и называется подпространством.

Так как математическое ожидание есть то нахождение наилучшего линейного прогноза для сводится к нахождению точки линейного многообразия, натянутого на множество величин которая наиболее близка (по расстоянию, определяемому нормой) к точке . В § 2.2 мы уже рассматривали этот вопрос для -мерного евклидова пространства с нормой Вектор линейного многообразия, порожденного первыми координатными векторами, ближайший к у, есть определяемый единственным образом вектор такой, что ортогонален этим

координатным векторам (и, следовательно, ортогонален каждому вектору линейного многообразия). Покажем теперь, что это решение имеет место и в общем случае гильбертова пространства.

Используя понятие скалярного произведения два элемента х и у будем называть ортогональными, если Эта можно записать так:

Теорема 7.6.5. (Теорема о проекции.) Если подпространство гильбертова пространства элемент в то существует, единственный элемент х в такой, что

Если то ортогонален каждому

Доказательство. Пусть последовательность, удовлетворяющая условию (Такая последовательность существует по определению минимума.) Доказав, что последовательность является последовательностью Коши, получим существование элемента х. Имеем

Перепишем левую часть:

так как то второе слагаемое в (15) не менее Таким образом, из (14) следует

а правая часть (16) стремится к 0. Значит, последовательность Коши и существует предел х этой последовательности. По следствию Для любого элемента

Если следовательно, то неравенство выполняется для любого а, если только т. е. если у — х ортогонален

Если существует другой элемент такой, что то для каждого Для каждого будем иметь откуда следует, что

Точка х называется проекцией у на подпространство а называется его остатком по отношению к

Если подпространство гильбертова пространства то множество всех элементов, ортогональных есть тоже подпространство, обозначаемое (Это подпространство замкнуто, что следует из непрерывности скалярного произведения и полноты .) Каждый элемент у из может быть записан как где Это можно записать еще как

В терминах гильбертова пространства линейный прогноз есть просто проекция. Гильбертово пространство есть замкнутое многообразие, натянутое на а скалярное произведение есть Пусть есть подпространство, натянутое на Проекция элемента на является лучшим линейным прогнозом для Пусть это будет оно минимизирует выражение

Это аналогично рассмотренной в гл. 2 задаче. Решение дается нормальными уравнениями

Пусть замкнутое линейное многообразие, натянутое Наилучший линейный прогноз элемента по есть его проекция на которую мы обозначим

Теорема 7.6.6.

Доказательство. Пусть и пусть Так как то существует такая последовательность что когда Так как и

а последнее стремится к то имеем

Можно также написать

потому что элемент ортогонален каждому вектору в Из этого следует, что в то время как другие два выражения в (23) стремятся к Теорема следует из

Эта теорема показывает, что прогноз по бесконечному прошлому можно аппроксимировать прогнозом по конечному отрезку прошлого. На практике статистики должны пользоваться столь большой выборкой, чтобы достаточно хорошо оценить ковариации процесса и на основании их дать наилучший прогноз.

Дисперсией остатка может быть любое неотрицательное число, не превосходящее . Если то процесс называется детерминированным. Это означает, что приближается элементом из . В большинстве случаев этот элемент представляется как бесконечная линейная комбинация Если то процесс называется регулярным.

Так как ортогонален каждому вектору в то можно написать

где некоррелировано с Случайную величину можно назвать обновлением или возмущением.