14.5. ОЦЕНИВАНИЕ ПАРАМЕТРОВ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ

14.5.1. Совместные оценки параметров одномерного нормального распределения.

Предположим, что наблюдаемая однородная независимая выборка принадлежит нормальному распределению с неизвестным средним значением а и дисперсией Функция правдоподобия выборки

(14.96)

Сравнивая (14.96) с (14.54), приходим к выводу, что и представляют совместно достаточные статистики для среднего значения и дисперсии нормального распределения соответственно. Из общих соотношений, справедливых для любых распределений (см. п.п. 14.1.3, 14.1.4), следует, что выборочное среднее

(14.97)

и исправленная выборочная дисперсия

(14.98)

представляют соответственно состоятельные и несмещенные оценки среднего и дисперсии нормального распределения.

Случайная величина распределена нормально с нулевым средним и единичной дисперсией, а случайная величина по закону степенями свободы. Заметим при этом, что выборочные среднее и дисперсия для нормального распределения независимы (см. задачу 14.2, а также [45], с. 233).

Определим элементы информационной матрицы Фишера для одномерного нормального распределения. В соответствии с (14.55), учитывая (14.96), получаем

Из независимости выборочного среднего и выборочной дисперсии следует

Далее, используя выражение для моментов распределения (см. задачу 3.9), находим

Таким образом, информационная матрица Фишера имеет вид

Детерминант этой матрицы равен , а элементы матрицы, обратной информационной,

Дисперсии и ковариация оценок (14.97) и (14.98)

Подставляя полученные выражения в (14.58), находим

т. е. оценки (14.97) и (14.98) не являются совместно эффективными.

14.5.2. Оценки максимального правдоподобия.

Из (14.65) и (14.96) получаем систему уравнений максимального правдоподобия

(14.100 а)

Из уравнения (14.100 а) следует

(14.101)

т. е. оценкой максимального правдоподобия среднего значения для нормального распределения является выборочное среднее. Заметим, что уравнение (14.100 а) не зависит от параметра нормального распределения. Сравнение показывает, что выборочное среднее является несмещенной эффективной оценкой параметра а нормального распределения.

Из уравнения (14.1006), подставляя вместо а величину находим оценку максимального правдоподобия дисперсии

(14.102)

Таким образом, оценкой максимального правдоподобия дисперсии для нормального распределения является выборочная дисперсия. Эта оценка состоятельная, смещенная, причем согласно (14.12) смещение

(14.103)

Дисперсия оценки (14.102)

(14.104)

Нижняя граница дисперсии оценок параметра нормального распределения в соответствии с неравенством Рао—Крамера равна , т. е. отличается от (14.104) множителем

При имеем

(14.104 а)

т. е. оценка (14.102) асимптотически эффективная в соответствии с отмеченными общими свойствами оценок максимального правдоподобия.

Заметим, что при априори известном среднем значении а оценка максимального правдоподобия дисперсии нормальной случайной величины имеет вид

(14.105)

Оценка (14.105) — несмещенная, а дисперсия ее равна

(14.105 а)

Таким образом, при известном среднем оценка максимального правдоподобия дисперсии нормальной случайной величины эффективная.

14.5.3. Интервальная оценка среднего значения (дисперсия известна).

Наряду с точечными оценками параметров нормального распределения рассмотрим интервальные оценки этих параметров. Предположим, что дисперсия известна. Введем нормированную ошибку в оценивания среднего, принимая за точечную оценку выборочное среднее (14.97)

(14.106)

Вероятность того, что не превосходит заданного значения

(14.107)

Из (14.106) следует, что нормированная ошибка оценки среднего представляет гауссовскую случайную величину с нулевым средним и единичной дисперсией. Поэтому (14.107) можно переписать в виде

или

(14.108 б)

где - интеграл Лапласа, а процентная точка нормального распределения.

Последние два уравнения связывают относительную длину доверительного интервала для нормированной ошибки и коэффициент доверия . Первое из них используется для определения , если задано , а второе — для определения когда дано . Доверительный интервал для оцениваемого параметра а можно представить неравенствами

(14.109)

Связь между и геометрически описывается двумя прямыми, параллельными биссектрисе координатного угла и отсекающими на оси величины (рис. 14.2). Для определения нижней и верхней границ доверительного интервала необходимо спроектировать на ось абсцисс точки пересечения этих прямых с прямой

Рис. 14.2, Определение гранщ доверительного интервала

15.4.4. Интервальная оценка среднего значения (дисперсия неизвестна).

Рассмотрим интервальную оценку среднего значения гауссовской случайной величины, когда дисперсия ее неизвестна. В качестве точечных оценок среднего и дисперсии используем несмещенные оценки (14.97) и (14.98). Так же, как и в п. 14.5.3, введем нормированную ошибку оценки. Отличие будет в том, что для нормировки используется оценка , так как значение дисперсии неизвестно. Таким образом, в качестве нормированной ошибки оценки среднего выбираем величину

(14.110)

которая представляет отношение двух независимых случайных величин: гауссовской с нулевым средним и единичной дисперсией и случайной величины распределенной как . Это отношение имеет распределение Стьюдента с степенью свободы [см. (13.103)]

(14.111)

Функция при стремится к плотности стандартного нормального распределения

(14.111 а)

Для больших размеров выборки распределение статистики {14.110) можно считать нормальным и при неизвестной дисперсии, что и следовало ожидать, если иметь в виду состоятельность оценки Однако для небольших распределение Стьюдента заметно отличается от нормального.

Учитывая симметрию распределения Стьюдента, получаем

(14.112)

Доверительный интервал для оцениваемого параметра а представляется теперь неравенствами [см. (14.110) и (14.112)]

Более широкий доверительный интервал, который получается при одинаковых размерах выборки и коэффициентах доверия по сравнению с предыдущим случаем известной дисперсии, является платой за неполную информацию о величине дисперсии при оценке среднего.

14.5.5. Интервальная оценка дисперсии.

Рассмотрим интервальную оценку неизвестной дисперсии гауссовской случайной величины. В качестве точечной оценки дисперсии примем несмещенную оценку (14.98), а в качестве нижней и верхней доверительных границ — величины Вероятность того, что доверительный интервал с указанными границами содержит параметр

(14.114)

где — случайная величина, распределенная по закону степенями свободы (см. п. 14.5.1)

Величины выберем из условия (рис. 14.3)

что равносильно

(14.115 а)

Таким образом, доверительный интервал для дисперсии гауссовской случайной величины, соответствующий коэффициенту доверия у, определяется неравенствами

(14.116)

где — процентная точка стандартного -распределения.

14.5.6. Байесовская оценка среднего значения.

Предположим, что дисперсия нормального распределения известна точно, а среднее представляет гауссовскую случайную величину с параметрами , т. е.

(14.117)

Рис. 14.3. Интервальная оценка дисперсии

Найдем сначала оптимальную оценку ймап по критерию максимума апостериорной плотности вероятности оцениваемого параметра а. Используя (14.73), получаем уравнение для определения оценки :

откуда

(14.118)

где

(14.118 а)

— оценка максимального правдоподобия.

Оценка (14.118) представляет среднее взвешенное двух величин: оценки максимального правдоподобия и априорного среднего значения оцениваемого параметра, причем отношение веса, приписываемого второй величине, к весу первой равно отношению дисперсии оценки максимального правдоподобия к априорной дисперсии. При сходится к оценке максимального правдоподобия.

Для заданной выборки апостериорная плотность вероятности параметра а

При апостериорная плотность вероятности (14.119) стремится к дельта-функции .

При данном параметры нормальной плотности вероятности (14.119) приближаются к , а при переходит в (14.117).

Из (14.118) и (14.119) видно, что оценка амап максимальной апостериорной плотности вероятности совпадает с условным средним оцениваемого параметра . Отсюда следует, что при квадратичной функции потерь оценка является байесовской. Так как апостериорная плотность (14.119) симметрична относительно своей единственной моды , то в соответствии с общим результатом, указанным в п. 14.4.7, при произвольной симметричной функции потерь оценка амап является байесовской.

Заметим, что из (14.118) следует

(14.120)

когда априорная дисперсия много больше дисперсии оценки максимального правдоподобия , т. е. когда

(14.121)

Условие (14.121) выполняется, если при фиксированном неограниченно увеличивается размер выборки или если при данном . Первое означает, что байесовская оценка при асимптотически переходит в оценку максимального правдоподобия. Второе условие можно трактовать следующим образом: распределение неизвестного параметра приблизительно равномерное при сопоставлении его с исходным распределением По этой причине оценка (14.118) при переходит в оценку максимального правдоподобия. Когда априорная дисперсия много меньше дисперсии оценки максимального правдоподобия байесовская оценка , т. е. выборочные значения не влияют на оценку, которая принимается равной априорному среднему значению оцениваемого параметра.

Подставляя (14.118) и (14.119) в (14.74), получаем

т. е. апостериорный риск, совпадающий в рассматриваемом случае с условной дисперсией — постоянная величина и, следовательно, средний риск

(14.122 а)

Нетрудно убедиться, что оценка (14.118) несмещенная, так как

Безусловная дисперсия оценки (14.118)

14.5.7. Байесовская оценка вектора средних.

Рассмотрим оценку вектора средних а многомерного нормального распределения, предполагая, что этот вектор случайный, его априорное распределение нормальное с известными параметрами и что корреляционная матрица К исходного распределения также известна. Если, кроме того, принята квадратичная функция потерь, то байесовская оценка вектора средних многомерного нормального распределения запишется в виде [см. (14.95)]

(14.124)

Апостериорная плотность

(14.125)

где априорная плотность

и функция правдоподобия

(14.1256)

Из (14.124), (14.125) следует с (4.118), (4.119)]

14.5.8. Рекуррентная форма байесовской оценки вектора средних.

Формулу (14.126) можно переписать в форме рекуррентного соотношения

(14.127)

и — байесовская оценка вектора средних на шаге наблюдения.

В скалярном случае и тогда рекуррентная форма байесовской оценки случайного среднего значения для одномерного нормального распределения записывается в виде [ср. с (14.118)]

(14.128)

где — оценка на шаге наблюдения.

При из (14.128) получаем рекуррентное соотношение для оценки максимального правдоподобия среднего аначения

(14.129)