§ 24. Квадратическое приближение случайной величины

Во многих задачах практики возникает необходимость приближенной замены одной случайной величины другой. Так, например, часто бывает необходимо по результатам наблюдения некоторой случайной величины X определить значение другой случайной величины К, по каким-либо причинам недоступной непосредственному наблюдению. Для решения этой задачи необходимо заменить вероятностную зависимость величины К от А подходящей функциональной

зависимостью. Такую функциональную зависимость можно получить, заменив совокупность всех возможных значений величины К при каждом данном значении х величины X некоторым средним значением величины при этом х. Зависимость любым образом выбранного среднего значения величины К от значения х величины X обычно называется регрессией на В случае скалярных случайных величин кривая, изображающая зависимость какого-нибудь среднего значения величины К от значения х величины X называется кривой регрессии на

В качестве среднего возможного значения величины К при каждом данном значении х величины X естественно принять ее условное математическое ожидание относительно X, т. е. величину

Таким образом, условное математическое ожидание случайной величины К относительно X является той функцией случайной величины X, которую естественно принять в качестве регрессии на

Точность приближенного представления скалярной случайной величины К другой скалярной величиной V можно характеризовать средней квадратической ошибкой, которая представляет собой положительный квадратный корень из математического ожидания квадрата модуля разности Точность приближенного представления случайного вектора К вектором V обычно характеризуют совокупностью средних квадратических ошибок приближения всех его составляющих.

Докажем, что условное математическое ожидание случайной величины относительно X является наилучшим квадратическим приближением к случайной величине среди всех возможных функций случайной величины Иными словами, докажем, что не существует такой функции случайной величины X, для которой средняя квадратическая ошибка приближения к случайной величине была бы меньше, чем для условного математического ожидания К относительно Для доказательства возьмем произвольную функцию случайной величины X и вычислим математическое ожидание произведения пользуясь формулой (17.9). Тогда, принимая во внимание, что условное математическое ожидание любой величины относительно X вычисляется при фиксированном возможном значении случайной величины X, и пользуясь свойством (19.5) математического ожидания, получим:

откуда

Заметим теперь, что для любых скалярных случайных величин справедливо равенство

в чем нетрудно убедиться непосредственной проверкой. Если в (24.4) положить где -произвольная функция случайной величины X, то величина также будет некоторой функцией случайной величины X, и на основании равенства (24.3), доказанного для любой функции будем иметь:

Отсюда следует, что для любой функции справедливо неравенство

Это неравенство и доказывает справедливость высказанного утверждения для скалярной случайной величины К. Применяя неравенство (24.6) ко всем составляющим случайного вектора К, приходим к выводу, что высказанное утверждение справедливо и для случайного вектора К. Очевидно, что знак равенства в (24.6) имеет место тогда и только тогда, когда функция с вероятностью, равной единице, совпадает с условным математическим ожиданием величины относительно Таким образов, условное математическое ожидание случайной величины У относительно X является единственным решением задачи наилучшего квадратического приближения случайной величины У в классе всех возможных функций случайной величины

Часто оказывается целесообразным искать функцию, реализующую минимум средней квадратической ошибки приближения случайной величины У, не среди всех возможных функций случайной величины X, а в ограниченном классе функций, обладающих каким-либо заданным свойством, например в классе линейных функций или полиномов данной степени. Функция случайной величины X, реализующая минимум средней квадратической ошибки приближения случайной величины У в данном классе функций называется средней квадратической регрессией У на X класса В частности, линейная функция случайной величины X, реализующая минимум средней квадратической ошибки приближения случайной величины У в классе линейных функций, называется линейной средней квадратической регрессией У на

Если условное математическое ожидание случайной величины У относительно X принадлежит классу функций то оно является наилучшим квадратическим приближением случайной величины У в этом классе функций, так как неравенство (24.6) справедливо для любой функции Если же условное математическое ожидание

случайной величины К относительно X не содержится в том классе функций случайной величины X, в котором ищется функция, реализующая минимум средней квадратической ошибки приближения случайной величины то для нахождения этой функции придется применить другой метод. Этот метод мы изложим здесь в общем виде, имея в виду те приложения полученных результатов, которыми мы будем заниматься в последних главах книги.

Пусть произвольное множество случайных величин, не содержащее случайную величину К. Общая задача квадратического приближения случайной величины состоит в том, чтобы среди всех случайных величин множества найти такую случайную величину К, для которой средняя квадратическая ошибка имеет наименьшее возможное значение, т. е. такую величину чтобы для любой величины было выполнено неравенство

Предположим, что нам удалось найти такую случайную величину что для любой случайной величины

Для этой случайной величины К и для любой случайной величины равенство (24.4) примет вид:

Отсюда следует, что если случайная величина удовлетворяет условию (24.8) при всех V то она удовлетворяет и условию (24.7). Таким образом, выполнение равенства (24.8) для всех случайных величин V множества является достаточным условием минимума средней квадратической ошибки приближения случайной величины У случайной величиной

При вполне естественном дополнительном ограничении условие (24.8) является также необходимым условием минимума средней квадратической ошибки. Предположим, что множество содержит все возможные линейные комбинации своих элементов, т. е. что случайная величина

при любых принадлежит множеству если случайные величины принадлежат множеству Множество, обладающее таким свойством, называется линейным пространством. Таким образом, мы будем предполагать в дальнейшем, что множество случайных величин представляет собой линейное пространство. Очевидно, что множество всех возможных функций величины X представляет собой линейное пространство, так как любая линейная комбинация функций X является функцией Множество линейных функций X и множество полиномов относительно X также являются

линейными пространствами. Если множество представляет собой линейное пространство, то разность принадлежит если С другой стороны, любая случайная величина V множества может быть представлена в виде разности где Следовательно, условие (24.8) может быть переписано в виде:

Для доказательства необходимости условия (24.11) предположим, что существует случайная величина для которой условие (24.11) не выполнено:

Вследствие того, что множество является линейным пространством, случайная величина

при любых действительных принадлежит множеству Для этой случайной величины

и равенство (24.4) принимает вид:

Выберем теперь так, чтобы было

что, очевидно, всегда возможно. Тогда для всех достаточно малых положительных значений а будет иметь место неравенство

Из (24.15) следует, что все случайные величины соответствующие положительным значениям для которых выполнено неравенство (24.17), удовлетворяют неравенству

Таким образом, если множество содержит хотя бы одну случайную величину для которой не выполнено равенство (24.11), то оно содержит бесчисленное множество случайных величин для которых не удовлетворяется условие минимума средней квадратической ошибки (24.7). Это доказывает необходимость условия (24.11).

Если множество содержит две случайные величины удовлетворяющие условию (24.11), то, полагая в (24.4) сначала

а потом убеждаемся в том, что

Отсюда следует, что величины с вероятностью единица совпадают. Таким образом, уравнение (24.11) может иметь только одно решение. Вопрос о том, имеет ли оно вообще решение, в общем случае остается открытым. Решение этого вопроса зависит от некоторых других свойств множества Само собой разумеется, что вопрос о существовании решения уравнения (24.11) выясняется автоматически во всех случаях, когда удается найти решение этого уравнения.

Левая часть равенства (24.11) представляет собой момент второго порядка ошибки приближения и произвольной случайной величины множества Таким образом, необходимым и достаточным условием того, чтобы случайная величина реализовала минимум средней квадратической ошибки приближения случайной величины К, является равенство нулю моментов второго порядка ошибки со всеми случайными величинами множества

Равенство (24.3), справедливое для любой функцив показывает, что условное математическое ожидание величины У относительно X является решением уравнения (24.11) в случае, когда множество случайных величин представляет собой множество всех возможных функций случайной величины

Найдем еще решение уравнения (24.11) для случая, когда множеством случайных величин является множество всех линейных комбинаций данных функций случайной величины которая может быть скалярной или векторной. Полагая в (24.11)

и принимая во внимание произвольность коэффициентов получим систему линейных алгебраических уравнений для определения коэффициентов

Для оценки точности приближения случайнбй величины У при помощи линейной комбинации данных функций случайной величины X

необходимо вычислить среднюю квадратическую ошибку для оптимальной линейной комбинации этих функций, определяемой уравнениями (24.21). Подставляя в равенство

выражение У из (24.20) и используя (24.21), получим:

Пример 1. Найти регрессию К на и регрессию на К в случае нормального совместного распределения случайных величин

Первая формула (22.7) показывает, что кривой регрессии К на в случае скалярных величин является прямая, сопряженная с осью у относительно эллипса рассеивания. Точно так же кривой регрессии X на является прямая, сопряженная с осью х относительно эллипса рассеивания.

Первая формула (23.45) показывает, что вообще регрессия любой составляющей нормально распределенного случайного вектора на вектор, составленный из любых остальных составляющих, является линейной. Отсюда следует, что регрессия одного случайного вектора на другой является линейной, если совместное распределение этих векторов нормально.

Пример 2. Найти регрессию У на X, если совместная плотность вероятности случайных величин определяется формулой

Пользуясь формулами (15.8) и (9.19), получаем для плотности вероятности случайной величины X формулу (22.4). Подставляя выражения (24.24) и (22.4) в формулу (16.6), находим условную плотность вероятности величины У относительно X:

Отсюда видно, что условный закон распределения случайной величины относительно X является в данном случае нормальным и, следовательно,

Таким образом, кривая регрессии У на X является в данном случае кубичной параболой.

Интересно отметить, что в данном примере закон распределения величины X и условный закон распределения величины У относительно X нормальны и в то же время совместный закон распределения случайных величин и К не является нормальным.