Глава 2. МАТРИЧНЫЙ ПОДХОД К ЛИНЕЙНОЙ РЕГРЕССИИ
2.0. ВВЕДЕНИЕ
Теперь мы изложим пример, приведенный в гл. 1, в терминах матричной алгебры. Применение матриц дает много преимуществ. Не последнее из них — общность. Как только задача записывается и разрешается в матричной форме, ее решение приложимо к любой регрессионной задаче такого рода независимо от того, сколько членов содержится в уравнении регрессии.
Матрица — это прямоугольная таблица символов или чисел, обычно обозначаемая с помощью одной полужирной буквы, например, или Существует несколько правил действий с такими таблицами. Довольно сложные выражения или уравнения могут быть зачастую представлены очень просто с помощью нескольких букв, надлежащим образом определенных и сгруппированных.
Мы не будем вводить матрицы формально, а используем их при изложении примера. Читатель, достаточно хорошо знакомый с матрицами, может сразу перейти к параграфу 2.5 или 2.6. Читатель, не имеющий таких знаний, должен тщательно проработать параграфы 2.1-2.5. В последующих параграфах он будет встречать некоторые места, возможно, трудные при первом чтении. Поэтому мы рекомендуем снова вернуться к ним после прочтения гл. 4. Свободное владение материалом, изложенным в параграфах 2.6-2.12, необходимо для того, чтобы справляться со сложными регрессионными задачами, но не обязательно для полного понимания последующих глав.
2.1. ПОДБОР УРАВНЕНИЯ ПРЯМОЙ В МАТРИЧНЫХ ОБОЗНАЧЕНИЯХ; ОЦЕНКИ ПАРАМЕТРОВ ...
Введем следующие определения:
вектор наблюдений матрица независимых переменных,
Р — вектор параметров, подлежащих оцениванию, вектор ошибок,
1 — вектор, образованный из единиц.
Исходя из данных табл. 1.1 и уравнения (1.2.3) из гл. 1, мы можем записать для нашего основного примера:
Заметим, что
(Любая матрица, содержащая один столбец, называется вектор-столбцом; матрицу с одной строкой именуют вектор-строкой; 1 -матрица есть просто обычное число или скаляр.)
С целью сокращения принято не указывать в матрицах или векторах все элементы, вместо отсутствующих элементов приводятся точки. Вектор-столбец 1, строго говоря, нам не требуется на этой стадии, но его удобно определить здесь. Он очень полезен при проведении матричных операций. Заметим, что матрица X состоит из двух вектор-столбцов. Первый из них есть просто 1, второй не имеет специального названия. Это вектор с элементами в виде величин В анализе данных его обычно называют «Х-столбцом». Некоторые авторы называют также первый столбец в матрице X -столбцом», имея в виду, что он соответствует предиктор ной переменной тождественно равной 1. Переменные такого типа, значения которых выбираются в некотором смысле произвольно, обычно называют фиктивными. Они широко используются у нас в гл. 5 и 9.