§ 11.10. Линейные модели

В заключение этой главы мы обсудим некоторые задачи множественной линейной регрессии и дисперсионного анализа. Статистические модели, применяемые в этих задачах, называются? линейными моделями, так как предполагается, что среднее каждого из наблюдений — известная линейная функция от заданного множества параметров.

Пусть векторный параметр со значениями в параметр, принимающий лишь положительные значения. Предположим, что статистик наблюдает значения каждое из которых распределено нормально со средним, являющимся некоторой линейной комбинацией к компонент вектора и мерой точности Далее, предполагается, что совместное условное распределение наблюдений при

и удовлетворяет следующим условиям: независимы; (2) при распределение нормальна со средним мерой точности причем статистику известны числа . В некоторых задачах статистик может сам выбирать эти числа, если не совсем произвольно, то по крайней мере в некоторых пределах значений, как часть своего плана эксперимента. В других задачах статистик не может распоряжаться выбором значений и он наблюдает эти значения вместе с . В этих задачах предполагается, что наблюденные значения не зависят от значений параметров Ввиду этого в дальнейшем изложении величины будут рассматриваться как фиксированные

Пусть х обозначает -матрицу значений

Далее, пусть I обозначает единичную -матрицу. Тогда условное совместное распределение которое мы только что описали, можно задать следующим образом: при условное распределение -мерного случайного вектора многомерное нормальное о вектором средних и матрицей точности Поэтому функция правдоподобия имеет для любой точки вид

Задача статистического решения о значениях на основе наблюденного значения называется задачей множественной линейной регрессии. Оценка наименьших квадратов для определяется как вектор минимизирующий квадратичную форму которая имеется под знаком экспоненты в Дифференцируя, находим, что минимизирует квадратичную форму тогда и только тогда, когда

В теории метода наименьших квадратов система к уравнений (3) называется системой нормальных уравнений. Из наших предположений следует, что для любого вектора у и любой матрицы х всегда существует хотя бы одно решение этого уравнения. Более строгий вывод, обосновывающий существование решения уравнения (3), см. у Рао (1965), стр. 42 и 195. Разумеется, если -матрица неособенная, тот и этот вектор — единственное решение уравнения (3). Вообще говоря, матрица может быть особенной и решение — неединственным. Нетрудна проверить, что если удовлетворяет уравнению (3), то для всех значений

Предположим теперь, что априорное совместное распределение многомерное нормальное-гамма распределение, указанное в теореме 1 § 9.13, т. е. допустим, что условное распределение при есть -мерное нормальное распределение с вектором средних и матрицей точности а маргинальное распределение является гамма-распределением с параметрами Таким образом, априорная совместная п. р. в. параметров при

имеет вид

Апостериорная совместная параметров при пропорциональна произведению правых частей равенств (2) и (5). Пусть -мерный вектор определен равенством

Поскольку матрица положительно определенная, матрица тоже положительно определена и имеет обратную, даже если матрица вырождена. Если любой вектор, удовлетворяющий уравнению (3), то имеет место тождество

Используя тождества (4) и (7), мы можем получить следующий вид апостериорной совместной п. р. в. для

где

Формула (8) для апостериорной п. р. в. показывает, что условное распределение при есть многомерное нормальное распределение с вектором средних и матрицей точности а маргинальное распределение есть гамма-распределение с параметрами а Из упр. 45 к гл. 9 следует, что апостериорное маргинальное распределение вектора есть многомерное -распределение с степенями свободы, вектором сдвига и матрицей точности

Если к -матрица невырождена, то в апостериорном распределении для заданном соотношениями (8) и (9), можно положить Как видно из (5), такое же предельное распределение получится при несобственной априорной совместной плотности вида

Вопрос о применении такой несобственной априорной плотности обсуждался в гл. 10.

Поскольку мы считаем, что матрица невырождена, из (3) следует, что задается равенством

Из (6) и (9) видно, что при Так как то предельное значение можно записать как где

Предельное апостериорное совместное распределение для можно выразить через эти предельные значения. В частности, маргинальное распределение для это многомерное -распре-деление с к степенями свободы, вектором сдвига определяемым равенством (11), и матрицей точности Маргинальное распределение для это гамма-распределение с параметрами

Из результатов настоящего параграфа следует, что если значения должны быть оценены при квадратической функции потерь вида, указанного в § 11.4, то за оценки для следует взять средние значения их апостериорных распределений. Поэтому байесовская оценка для есть Она является также стандартной оценкой для по методу наименьших квадратов. Далее, байесовская оценка для совпадает с где задается соотношением (12). В теории наименьших квадратов это стандартная оценка для дисперсии [см., например, Рао (1965), стр. 199].