2.8. Нормальное распределение

Важность нормального распределения (определенного ниже) объясняется несколькими причинами.

(а) Было обнаружено, что это распределение довольно хорошо аппроксимирует характер многих измерений в природе.

(б) Существует предел, к которому стремится ряд других распределений при неограниченном росте объема выборки.. В частности, мы

имеем так называемые центральные предельные теоремы [691, которые гласят, что при весьма общих условиях распределение суммы независимых случайных переменных стремится к нормальному при достаточно больших Центральные предельные теоремы часто используют, чтобы объяснить широкое распространение этого распределения в природе: если наблюдаемое значение случайной переменной является результирующим от действия многих аддитивных независимых эффектов, то ее распределение будет, вероятно, нормальным.

В некоторых случаях нормально распределена не сама переменная, а некоторая функция от нее. Например, если данное воздействие формируется в течение некоторого периода времени как сумма многих случайных эффектов, каждый из которых имеет стандартное отклонение, пропорциональное величине общего воздействия в это время, то распределение логарифма общего воздействия должно быть, вероятно, нормальным. Такое явление наблюдалось в задачах, относящихся к росту индивидов [51, с. 220].

(в) Определив распределение случайной переменной, мы тем самым вводим определенное количество информации, связанное с переменными. Мера информации, содержащейся в распределении с функцией плотности распределения вероятности записывается так:

([176]; см. также раздел 10.2). Рассмотрим следующую ситуацию. Пусть исследователь знает, что ошибки измерения некоторого прибора имеют среднее и стандартное отклонение о. По определенным причинам (которые станут ясными впоследствии) исследователь приписывает ошибкам измерения функцию В дальнейшем при помощи ПРВ мы будем делать выводы относительно истинного значения измеренной переменной. Какую функцию следует выбрать в отсутствие дополнительной информации?

Функция должна удовлетворять следующим условиям.

1. Она является ПРВ, т. е. и

2. Среднее выражается согласно определению, т. е.

3. Дисперсия выражается согласно определению, т.е.

Разумно выбрать из функций удовлетворяющих этим условиям, ту, в которой содержится минимальное количество информации. Поступая таким образом, мы добавляем минимально возможную

тельную информацию к той, что мы уже имеем (т. е. относительно значений и ).

Нахождение минимизирующей и удовлетворяющей уравнениям (2.8 2)-(2.8 4), есть лишь упражнение в вариационном исчислении. Следуя стандартным приемам, образуем функционал Лагранжа:

где множители Лагранжа (см. раздел 3.6). Для того чтобы было стационарным, должно удовлетворять уравнению Эйлера. Последнее получается дифференцированием по подынтегрального выражения и приравниванием его к нулю:

Следовательно,

Подставляя можно определить значения . С помощью соотношения

окончательно находим, что

Следовательно,

Это — одномерное нормальное распределение со средним и дисперсией Обозначим его через

В случае, когда мерная векторная случайная величина со средним и невырожденной ковариационной матрицей V, мы найдем аналогичным способом, что наименее информативная функция ПРВ имеет вид

что соответствует многомерному нормальному распределению со средним и ковариационной матрицей Обозначим это распределение

Подводя итог, можно сказать: определяя лишь среднее и дисперсию случайной переменной, мы еще не определяем всего распределения в целом. Если же требуется распределение как таковое, то, указывая нормальное распределение, мы привлекаем минимально возможное количество дополнительной информации.

(г) Нормальное распределение легко поддается математической обработке. Много результатов можно вывести явно, применяя только

это распределение. Поэтому часто, если нет специальных обоснований, удобно предполагать, что соответствующее распределение является нормальным. По всей вероятности, это не вызовет существенных ошибок, исключая те случаи, когда выбранный метод оценивания очень чувствителен к форме хвостов распределений.

Нормальное распределение -мерного случайного вектора х полностью характеризуется средним и ковариационной матрицей V, как показано в Мы полагали, что V не вырождена; иначе невозможно получить Если же V вырождена, т. е. мы говорим о вырожденном нормальном распределении. Если есть ранг

V то существует линейных комбинаций х, имеющих невырожденное нормальное распределение.

Если распределение нормально, то некоррелированные переменные будут и независимыми. Для нормального распределения среднее, мода и медиана совпадают. Опишем некоторые дополнительные полезные свойства нормального распределения. Будем полагать, что х есть (иными словами, х есть -мерный нормально распределенный случайный вектор со средним 0 и ковариационной матрицей V). Тогда

1) есть где А — матрица

2) пусть С матрица такая, что Тогда есть т. е. элементы у представляют собой независимых нормально распределенных переменных с нулевыми средними и единичными дисперсиями. Такие переменные называются стандартными нормальными отклонениями;

3) если вектор у распределен как то случайная переменная, распределение которой называется «хи-квадрат с степенями свободы». Оно обозначается как Другими словами, это распределение суммы квадратов независимых стандартных нормальных отклонений;

4) имеем Следовательно, есть

5) если независимые случайные переменные с распределениями и соответственно, то случайная переменная, распределение которой обозначается как

Распределения играют важную роль в установлении доверительных интервалов для оцениваемых параметров и в проверке гипотез о соответствии модели экспериментальным данным (см. главу VII).