2.5.4. КВАДРАТИЧЕСКИЕ ФУНКЦИИ НОРМАЛЬНЫХ ПЕРЕМЕННЫХ

а) Распределение хи-квадрат. Суммы квадратов независимых стандартных нормальных переменных. Квадратичные формы от нормальных переменных. Одним из наиболее важных классов квадратических функций в выборочной теории является класс функций, которые сводятся к суммам квадратов независимых стандартных нормальных переменных. Пусть — независимые стандартные нормальные переменные [см. II, раздел 11.4.1] и пусть

Эта величина называется случайной величиной [см. II, раздел

11.4.11] с степенями свободы или сокращенно — переменной или просто в точке равна:

Это унимодальное распределение [см. II, раздел 10.1.3], достигающее максимального значения при [см. рис. 2.5.1], имеет следующее математическое ожидание, дисперсию и коэффициент асимметрии:

Замечание. Выбор символа обусловлен желанием обозначать прописными латинскими буквами случайные величины. На практике чаще всего употребляются обозначения . Символ обычно используется для обозначения реализации или

отдельного значения переменной Контекст помогает избежать двусмысленности.

Итак, если — гамма-переменная с единичным параметром масштаба и параметром формы а, то — переменная с числом или, что равнозначно, -переменная является переменной

Выделим случай, когда для него имеет вид

Таким образом, распределение оказывается экспоненциальным распределением с математическим ожиданием, равным 2.

Аддитивное свойство переменных Сумма независимых случайных величин является переменной Одно важное и полезное свойство семейства состоит в том, что оно замкнуто относительно сложения. Как видно из (2.5.15), справедливо следующее правило сложения: если — независимые переменные степенями свободы то также будет переменной степенями свободы.

Это правило можно распространить и на суммы большего числа переменных.

Удобное обозначение: переменная Часто приходится иметь дело со случайной переменной такой, что подчиняется распределению Тогда говорят, что является переменной

Квадратичные формы, имеющие распределение Определение, данное в (2.5.15), можно переформулировать следуюпдим образом. Пусть [см. I, раздел 9.1] имеет распределение с степенями свободы.

Хорошо известно, что квадратичные формы, которые нельзя непосредственно выразить в виде сумм квадратов, можно путем преобразований свести к суммам квадратов преобразованных переменных [см.

I, раздел 9.1]. Поэтому естественно задать вопрос, не могут ли такие формы иметь распределение Основной ответ на этот вопрос, у которого много приложений, выражен в следующей теореме.

Теорема 2.5.1. Необходимые и достаточные условия для того, чтобы квадратичная форма от независимых стандартных нормальных переменных имела распределение Пусть и где — независимые, стандартные нормальные переменные. Пусть обозначает симметрическую матрицу [см. I, раздел 6.7] с действительными неслучайными элементами. Неотрицательная квадратичная форма имеет распределение тогда и только тогда, когда . В этом случае число степеней свободы равняется рангу [см. I, разделы 5.6 и 6.2].

Пример 2.5.1. Выборочное распределение суммы квадратов выборки. Просто сумма квадратов стандартных нормальных случайных величин редко используется в качестве статистики, но связанная с ней статистика встречается часто и имеет большое значение. Это сумма квадратов отклонений наблюдений от среднего выборки х.

Такая величина

часто называется суммой квадратов выборки. Когда наблюдения образуют выборку из нормальной генеральной совокупности с параметрами случайная величина подчиняется распределению хи-квадрат с степенями свободы.

Чтобы увидеть, как это получается, рассмотрим как реализации индуцированных случайных переменных где — статистические копии X, так что они являются взаимно независимыми Аналогично х рассматривается как реализация индуцированной случайной переменной

Тогда индуцированная [см. определение 2.2.1], равна:

Далее — стандартная нормальная случайная величина, откуда

Хотя переменные — взаимно независимы, переменные — не являются независимыми, так как все они включают величину . В терминах вектора имеем

где

При возведении в квадрат видно, что обращаясь же к диагональным элементам А, а именно видим, что Поэтому на основании теоремы есть степенями свободы.

б) Независимость суммы квадратов и среднего в нормальных выборках. Результаты, обсуждавшиеся в примере 2.5.1, являются частью следующей теоремы.

Теорема 2.5.2. Ортогональное разложение Пусть — независимые и пусть Тогда

и оба члена в правой части взаимно независимые -переменные с и 1 степенями свободы.

Эта теорема — частный случай более общего результата, представленного в теореме 2.5.5 в разделе 2.5.8. Она необходима для понимания -статистики Стьюдента [см. раздел 2.5.5] и для дисперсионного анализа [см. гл. 8].

в) Таблицы распределения Чтобы использовать результат, полученный выше, и другие, ему подобные, нужно иметь таблицу функции распределения распределения — для любого числа степеней свободы. Таблицы таких ф.р. существуют [см. список литературы], но наиболее доступные из них дают значения только в терминах процентных точек [см. раздел Вариант такой таблицы приведен в приложении 6. В ней содержатся значения величины такие, что

для различных значений а.

В таблицах, приведенных, например, в [Pearson and Hartley (1966)- G] указаны для и для

Та же информация [см. указанную выше работу] содержится в таблице (табл. 7) интеграла вероятностей (т.е. непосредственно функции распределения где приводятся значения

Таблицы распределения и неполная гамма-функция. Неполной гамма-функцией [см. Abramowitz and Stegun (1970) - G] называют функцию

Из (2.1.15) следует, что

Таблицы и распределение Пуассона. Если случайная переменная подчиняется распределению Пуассона [см. приложение 2] с параметром В, то

К этому соотношению можно прийти, беря по частям [см. IV, раздел 4.3] интеграл, выражающий Этот интеграл равен:

и т.д., пока не будет получен требуемый результат.

Это свойство используется в табл. 7 из упомянутой выше работы. Таблица применима как в случае распределения так и в случае распределения Пуассона.

г) Выборочное распределение дисперсии выборки. В выборке из дисперсию можно определить по-разному, а именно как

или как

Более употребительно второе определение, которое дает несмещенную [см. II, раздел 3.3.2] оценку

Рассмотрим более общую статистику

где делитель — произвольная функция т.е. объема выборки. Эта величина является реализацией случайной величины

где — независимые Ее распределение можно получить на основании теоремы 2.5.1, согласно которой есть -перемен-ная с степенями свободы. Таким образом, выборочная п.р.в. для в точке равна:

где при определении при несмещенной оценке (2.5.19). Отсюда следует, что

и

Итак, выборочная дисперсия несмещенной оценки параметра основанная на выборке объема равна:

д) Выборочное распределение стандартного отклонения выборки. Стандартное отклонение выборки можно определить как

где — подходящий делитель. Применение метода максимального правдоподобия [см. раздел 6.4.1] приводит к в то время как

для получения несмещенной оценки параметра величина должна равняться [см. пример 3.3.5]. В обоих случаях оказывается смещенной оценкой занижающей значение . Далее показано, что для выбор в виде

приводит к оценке которая оказывается почти несмещенной.

Пусть V определяется, как и раньше, и пусть определяется как

Тогда

П.р.в. этой индуцированной случайной величины в точке равна:

где задается формулой (2.5.21), отсюда [см. II, раздел 4.7]

Таким образом, момент порядка переменной равняется:

Смещение. В частности,

где

Когда что соответствует дисперсии выборки в виде (несмещенной оценке ), стандартное отклонение выборки, определенное как

имеет выборочное ожидание где

Эта величина всегда меньше единицы. Поэтому оценка (2.5.28) будет смещенной оценкой ст. Величину смещения иллюстрирует табл. 2.5.1. В ней же представлены значения которые превращают (2.5.23) в несмещенную оценку а, а именно

Таблица 2.5.1. (см. скан) Смешение оценок а

Числа во втором столбце табл. 2.5.1 показывают, что при например, делитель использованный в (2.5.24), приводит к оценке , выборочное ожидание которой равняется . В третьем столбце показаны значения делителя, необходимые для получения несмещенной оценки .

Из таблицы можно увидеть, что значение «несмещенного» делителя очень близко к (ср. с последним столбцом). Отсюда следует, что оценка является превосходным приближением к несмещенной оценке а.

Выборочная дисперсия оценки (2.5.23) параметра . Из выражения (2.5.26) следует, что выборочная дисперсия оценки параметра , определенная в (2.5.23), равна:

где определено в (2.5.27). При или она приближенно равна с ошибкой, имеющей порядок величины . В табл. 2.5.2 приведены ее числовые значения при для некоторых значений вместе с приближением

Таблица 2.5.2. (см. скан) Выборочная дисперсия оценки в виде, представленном в (2.5.31)

Из таблицы видно, что смещенная оценка имеет несколько меньшую дисперсию, чем несмещенная, но приближение вида чаще всего оказывается достаточно точным.

Вероятность того, что оценка укладывается в определенный интервал. Вычисления вероятностей, связанных со случайной переменной определенной в (2.5.24), можно выполнять с помощью таблиц хи-квадрат [см. приложение 6], так как распределена как Например, чтобы найти при нужно вычислить (взяв )

откуда

(Для приложений такого рода недостаточны таблицы процентных точек, которые приведены в приложении 6. Пользуясь таблицами обычной функции распределения из работы [Pearson and Hartley - G], находим, что вероятность равняется 0,115).