7.6.2. Проекции и линейное прогнозирование
Мы будем рассматривать прогнозирование случайной величины
по известным
(части прошлого) или по
(всему прошлому) для случайного процесса
со средним значением
и ковариационной функцией
Пусть
прогноз; в качестве критерия наилучшего прогноза возьмем
Среднеквадратичная ошибка прогноза будет минимальна, если
взято как условное математическое ожидание величины при заданных
или
Это условное математическое ожидание будет, конечно, зависеть от распределения величин
или вероятностной меры для
Если процесс гауссовский, то условное математическое ожидание будет линейной функцией от
или от
в других примерах оно может и не быть линейной функцией.
Будем считать
линейной функцией,
в случае прогнозирования по
или пределом
таких линейных функций. В таком случае
зависит только от
Эту проблему удобно сформулировать в терминах геометрии гильбертова пространства.
Линейное многообразие есть непустое подмножество гильбертова пространства, такое, что
для каждых действительных
принадлежит подмножеству, если х и у принадлежат этому подмножеству. Линейное многообразие замкнуто, если оно содержит предел каждой последовательности Коши, содержащейся в нем. Конечное или бесконечное множество точек гильбертова пространства может порождать замкнутое линейное многообразие, которое состоит из всевозможных конечных линейных комбинаций точек этого множества и их пределов. Говорят, что замкнутое линейное многообразие натянуто на исходное множество точек этого пространства. Замкнутое линейное многообразие является гильбертовым пространством и называется подпространством.
Так как математическое ожидание
есть
то нахождение наилучшего линейного прогноза для
сводится к нахождению точки линейного многообразия, натянутого на множество величин
которая наиболее близка (по расстоянию, определяемому нормой) к точке
. В § 2.2 мы уже рассматривали этот вопрос для
-мерного евклидова пространства с нормой
Вектор линейного многообразия, порожденного первыми
координатными векторами, ближайший к у, есть определяемый единственным образом вектор
такой, что
ортогонален этим
координатным векторам (и, следовательно, ортогонален каждому вектору линейного многообразия). Покажем теперь, что это решение имеет место и в общем случае гильбертова пространства.
Используя понятие скалярного произведения
два элемента х и у будем называть ортогональными, если
Эта можно записать так:
Теорема 7.6.5. (Теорема о проекции.) Если
подпространство гильбертова пространства
элемент в
то существует, единственный элемент х в
такой, что
Если
то
ортогонален каждому
Доказательство. Пусть
последовательность, удовлетворяющая условию
(Такая последовательность существует по определению минимума.) Доказав, что последовательность
является последовательностью Коши, получим существование элемента х. Имеем
Перепишем левую часть:
так как
то второе слагаемое в (15) не менее
Таким образом, из (14) следует
а правая часть (16) стремится к 0. Значит,
последовательность Коши и существует предел х этой последовательности. По следствию
Для любого элемента
Если
следовательно,
то неравенство выполняется для любого а, если только
т. е. если у — х ортогонален
Если существует другой элемент
такой, что
то
для каждого
Для каждого
будем иметь
откуда следует, что