1.2. Геометрия МНК

На минимизацию суммы квадратов отклонений можно взглянуть по-иному. Имеется векторов в евклидовом пространстве Обозначим линейное подпространство, натянутое на векторы (семейство линейных комбинаций ).

Рис. 1.4. Геометрия МНК,

Из формулы (1.3) видим, что задача оценивания предполагает нахождение такого вектора для которого расстояние между минимально, т. е.

Таким образом, для нахождения оценки МНК необходимо сначала найти у, а затем разложить его по векторам

Коэффициенты разложения и будут координатами оценки МНК . Как известно, минимальное расстояние между вектором и гиперплоскостью есть длина перпендикуляра, опущенного из конца вектора на гиперплоскость (линейное многообразие). Итак, проекция у на Отсюда, в частности, следует, что вектор у единствен при любых ситуациях (т. е. и тогда, когда Для того чтобы найти оценку МНК, т. е. а, необходимо разложить затем у по На рис. где Если то такое разложение не будет единственным.

Мы рассмотрели задачу оценивания вектора неизвестных параметров сточки зрения наилучшего приближения — чисто алгебраической задачи. Однако в силу стохастичности у задача является вероятностной. В дальнейшем нас не столько будет интересовать значение а для фиксированного у, сколько средние характеристики оценки при варьировании у.

Упражнения 1.2

(см. скан)