§ 2. Геометрический подход
Все рассматриваемые в этой главе случайные величины будут иметь вторые моменты, и «расстояние» между случайными величинами будет определяться, как квадратный корень из математического ожидания квадрата их разности,
Совокупность случайных величин называется линейным многообразием, если, каков бы ни был конечный набор 
случайных величин, входящих в эту совокупность, любая их линейная комбинация вида также входит в эту совокупность. (В дальнейшем под «линейной комбинацией» будет всегда подразумеваться конечная линейная комбинация.) Линейное многообразие называется замкнутым, если для любой последовательности случайных величин 
входящих в это многообразие, и таких, что существует 
величина х также входит в это многообразие. Последнее определение согласуется с обычным понятием замкнутости, использующим введенное выше расстояние.
Всевозможные линейные комбинации случайных величин из некоторой заданной совокупности случайных величин образуют новую (вообще говоря, большую) совокупность. Эта новая совокупность является линейным многообразием и, более того, наименьшим линейным многообразием, содержащим заданную совокупность; она называется линейным многообразием, порожденным заданной совокупностью. Еслн присоединить дополнительно к линейному многообразию всевозможные пределы в среднем последовательностей случайных величин, входящих в это многообразие, то получится новое (вообще говоря, еще большее) линейное многообразие. Это новое линейное многообразие является замкнутым, и, более того, оно является наименьшим замкнутым линейным многообразием, содержащим первоначальную совокупность; оно называется замкнутым линейным многообразием, порожденным заданной совокупностью.
Пусть 
линейное многообразие, и х ортогонально к каждой входящей в 
случайной величине. Тогда говорят, что случайная величина х ортогональна к 
Случайная величина х будет при этом автоматически ортогональна к замкнутому линейному многообразию, порожденному 
Действительно, если 
где 
входят в 
то
и второй множитель стремится к 
при 
Если величина х ортогональна ко всем случайным величинам некоторой совокупности, то величина х, очевидно, ортогональна также к линейному многообразию (следовательно, и к замкнутому линейному многообразию), порожденному этой совокупностью.
Два линейных многообразия называются ортогональными, если любая случайная величина, входящая в одно из этих многообразий, ортогональна к любой случайной величине, входящей во второе многообразие.
