Решение нормальных уравнений
Если умножить обе части уравнения (2.1.9) на слева, то мы получим
т. е.
поскольку Этот важный результат следует запомнить, так как решение нормальных уравнений для линейной регрессии всегда может быть записано в этой форме при условии, что неособенная матрица и регрессионная задача сформулирована правильно.
Пользуясь данными нашего примера, мы найдем, что
Заметим, что полученные результаты не совпадают — с точностью до шестого знака после запятой — с величинами, найденными в параграфе 1.2. Такие несоответствия встречаются часто, они связаны
с округлением чисел при вычислениях. Пренебрежение этим при определенных условиях может привести к серьезным ошибкам. В данном случае численные расхождения малы с практической точки зрения, но они указывают на то, что, в общем, в регрессионных вычислениях следует учитывать столько знаков, сколько возможно. Иногда числа в расчетах таковы, что из-за округлений смысл расчетов будет вообще полностью потерян.
Некоторые способы проведения вычислений (особенно если они выполняются вручную, т. е. с помощью настольных калькуляторов) лучше, чем остальные, так как они меньше зависят от ошибок округления. В частности, целесообразно откладывать операцию деления на самый конец, если это возможно. Например, если бы мы воспользовались уравнением (2.1.16) вместо (2.1.15) для нахождения то мы получили бы
Затем мы могли бы найти из уравнения
выполняя операцию деления в последнюю очередь.
Вычисляя коэффициенты тремя различными способами, получим:
Как мы уже говорили, эти расхождения не имеют большого значения в данном примере. Третий метод обычно наиболее точный. Чтобы увидеть, к каким последствиям может привести округление, мы предлагаем читателю найти обратную матрицу вторым способом, а округление элементов выполнить несколькими путями, например округляя до 6, 5, 4 или 3-го знака после запятой. Ошибки округления — основная причина расхождений, если одна и та же задача решается разными людьми с применением настольных калькуляторов.
Если программа регрессионного анализа написана для вычислительной машины, то при этом автоматически сохраняется много значащих цифр. Тем не менее некоторые программы ориентированы на проведение вычислений с удвоенной точностью, хотя этого обычно и не требуется (см. параграф 5.4).
Резюме. Если мы выразим одномерную линейную модель, подлежащую оцениванию на основе данных нашего примера, в форме
отвечающей уравнению (2.1.4), то МНК-оценки для параметров т. е. МНК-оценка вектора выражаются формулой
Этот результат является очень важным и его следует запомнить. Заметим, что оценка получается из выражения