Приложение П7.1. Обзор теории нормального распределения

П7.1.1. Разбиение положительно определенной квадратичной формы

Рассмотрим положительно определенную квадратичную форму . Пусть вектор  размера  разбит на две части после -го элемента, так что , и пусть матрица  размера  также разбита на части после -й строки и -го столбца, так что

.

Тогда, так как

 всегда может быть представлена как сумма двух квадратичных форм  и  содержащих соответственно  и  элементов, где

                   (П7.1.1)

Определитель  можно представить в виде

.                                                                               (П7.1.2)

П7.1.2. Два полезных интеграла

Пусть  — положительно определенная квадратичная форма от  из  элементов, так что , где , и пусть  и  — положительные действительные числа. Тогда можно показать, что

,                                   (П7.1.3)

где -кратный интеграл берется по всему пространству  возможных  и

,                                            (П7.1.4)

где функция  называется -распределением с  и  степенями свободы и определена как

.  (П7.1.5)

Если , то

,

и, обозначив , получаем из (П7.1.4)

,                                             (П7.1.6)

где функция  называется -распределением с  степенями свободы и определена как

.                         (П7.1.7)

Здесь и далее  используется как общее обозначение для функции плотности вероятности случайной величины .

П7.1.3. Нормальное распределение

Говорят, что случайная величина  распределена нормально со средним  и стандартным отклонением  или имеет распределение , если ее плотность вероятности равна

.                                             (П7.1.8)

Отсюда нормированная величина  имеет распределение . Табл. Е в конце книги дает ординаты  и значения , для которых  для заданного .

Многомерное нормальное распределение. Говорят, что векторная случайная величина  имеет совместное -мерное нормальное распределение , если плотность вероятности равна

.                            (П7.1.9)

Изоповерхности плотности вероятности — эллипсоиды, определяемые уравнениями .

Рис. П7.1. Изолинии двумерного нормального распределения (1); там же показаны маргинальное распределение  (2) и условие распределение  при  (3).

В качестве иллюстрации на рис. П7.1 показаны эллиптические изолинии для двумерного нормального распределения.

В точке  многомерное распределение имеет максимальную плотность вероятности

.

Распределение  как вероятность непопадания в область, ограниченную изоповерхностью многомерного нормального распределения. Для -мерного нормального распределения (П7.1.9) вероятность непопадания в область, ограниченную поверхностью, заданной уравнением

,

равна  - интегралу с  степенями свободы

,

где плотность -распределения определена формулой (П7.1.7). В табл. F в конце книги приведены значения , для которых при заданном .

Маргинальные и условные распределения для многомерного нормального распределения. Положим, что вектор из  случайных величин разбит на две части после -го элемента, так что  и матрица ковариаций имеет вид

.

Тогда, пользуясь (П7.1.1) и (П7.1.2), можно записать многомерное нормальное распределение для  величин как маргинальное распределение , умноженное на условное распределение  при данном  т. е.

                 (П7.1.10)

где

                                                        (П7.1.11)

и  определяет гиперплоскость регрессии в -мерном пространстве, которая прослеживает точку среднего значения  элементов , в то время как  элементов  изменяются. Матрица коэффициентов регрессии размером  определяется формулой .

Как маргинальное, так и условное распределения для многомерного нормального закона сами являются многомерными нормальными распределениями. Видно, что для многомерного нормального распределения условное распределение  с точностью до сдвига сохраняется при любом .

Одномерные маргинальные плотности. В частности, маргинальная плотность для одного элемента  равна  — одномерной нормальной плотности со средним значением, равным -му элементу , и дисперсией, равной -му диагональному элементу .

Двумерное нормальное распределение. В качестве примера на рис. П7.1 показаны маргинальное и условное распределения для двумерного нормального распределения. В этом случае маргинальное распределение , есть , а условное распределение  при данном  равно

,

где  - коэффициент корреляции между  и .

П7.1.4. Распределение Стьюдента

Говорят, что случайная величина  имеет нормированное -распределение Стьюдента  со средним значением , нормирующим параметром  и  степенями свободы, если

.             (П7.1.12)

Отсюда стандартное -отклонение  имеет распределение . В табл. G в конце книги приведены значения , для которых при заданном .

Переход к нормальному распределению. Для больших  произведение

стремится к единице, в то время как крайний справа множитель в (П7.1.12) стремится к . Поэтому если мы для больших  примем , то -распределение стремится к нормальному распределению (П7.1.8).

Многомерное -распределение. Пусть  будет вектором  размером  и  — положительно определенной матрицей размером . Говорят, что векторная случайная величина  [68, 69] имеет нормированное -распределение  с вектором средних значений , нормирующей матрицей  и  степенями свободы, если

.   (П7.1.13)

Изоповерхности плотности вероятности многомерного -распределения — эллипсоиды, определяемые уравнением

.

Переход к многомерному нормальному распределению. Для больших  произведение

стремится к единице; крайняя правая скобка в (П7.1.13) стремится к . Отсюда, если для больших  примем , многомерное -распределение стремится к многомерному нормальному распределению (П7.1.9).

F-распределение как вероятность непопадания в область, ограниченную изоповерхностью многомерного -распределения. Пользуясь (П7.1.4), можно выразить вероятность непопадания в область, ограниченную изоповерхностью -мерного -распределения , заданную уравнением

,

как -интеграл с  и  степенями свободы

,

где функция плотности для  определена формулой (П7.1.5). Для больших , где . Отсюда, как и следовало ожидать, вероятность непопадания в область, ограниченную заданной изоповерхностью -распределения, для больших  равна аналогичной вероятности для многомерного нормального распределения, к которому стремится многомерное  - распределение.

Маргинальное -распределение. Если  - мерный вектор , распределенный, согласно уравнению (П7.1.13), разбить на две части после -го элемента, так что , и разбить  подобным образом, получим

.

Обозначив

получим

Используя теперь предварительный результат (П7.1.3) с

получим

   (П7.1.14)

Итак, если -мерный вектор  имеет многомерное -распределение (П7.1.13), маргинальное распределение любых  переменных, образующих вектор  — это  - мерное -распределение .

Одномерные маргинальные плотности. В частности, маргинальное распределение для одного элемента  будет  — одномерное -распределение со средним значением, равным -му элементу , нормирующим множителем, равным положительному значению квадратного корня из -го диагонального элемента , и  степенями свободы.

Условное -распределение. Условное распределение  можно получить как отношение совместного распределения  и маргинального распределения :

.

Поделив, получаем

                       (П7.1.15)

где  (для данного  — это фиксированная константа) равно

.                                              (П7.1.16)

Тогда распределение  при данном  - многомерное -распределение:

,

где .

Двумерное -распределение. Как и раньше, некоторое представление об общей многомерной ситуации можно получить, изучив двумерное распределение . Диаграммное представление, аналогичное показанному на рис. П7.1, на первый взгляд подобно двумерному нормальному распределению. Однако маргинальные распределения — это одномерные -распределения, имеющие  степеней свободы, в то время как условные распределения — это -распределения с  степенями свободы. Далее нормирующий множитель для условного распределения , например, зависит от . Это — явное отличие от условного распределения для нормального случая, где дисперсия не зависит от .