7.9. Доверительные интервалы

Знание ковариационной матрицы дает интуитивное представление о степени, до которой различные параметры являются хорошо определенными. Однако мы можем захотеть делать более точные утверждения, такие, как «Истинное значение 0 лежит между числами а и с вероятностью . С точки зрения классической статистики такое утверждение бессмысленно: значение 0 — константа, хотя и неизвестная. Вероятность того, что она лежит между равна единице, если и нулю — в противоположном случае, но никак не может быть равна 90%. Эта трудность преодолевается с помощью теории доверительных интервалов Неймана [1491.

Предположим, что мы полностью знаем выборочное распределение оценки 0 (мы обсуждаем сперва случай единственного параметра Это распределение зависит от истинного значения 0 и мы обозначим нлотность этого распределения Для любого данного значения мы можем легко определить два числа, а и такие, что для заданного числа мы имеем

Это эквивалентно тому требованию, что для каждого

Ясно, что выбор числа довольно произволен: для любого заданного у мы можем выбрать число так, чтобы число тогда определяется требованием, чтобы Допустим, что мы в состоянии выбирать так, чтобы как это число, так и были монотонно возрастающими функциями от аргумента 0. Тогда существуют обратные функции такие, что

Утверждение эквивалентно утверждению утверждение эквивалентно утверждений

Отсюда следует, что

Заметим, что величина 0 как функция от выборки — случайная величина, и поэтому случайными величинами будут . Равенство устанавливает: вероятность того, что значение случайной величины не превосходит истинного значения и что случайная величина не меньше, чем 0, равна у. А это — вполне осмысленное утверждение в рамках классической статистики. Интервал называется -ным доверительным интервалом для 0.

Пояснить эту ситуацию поможет простой пример из раздела 3.1. По наблюдениям над нормально распределенной случайной величиной о со средним 0 и известной дисперсией согласно равенству мы получаем оценку максимального правдоподобия для 0:

Хорошо известно, что выборочное распределение случайной величины 0 — нормальное со средним и дисперсией Из таблиц нормального распределения (см., например, [51, табл. 21) мы увидим, что

поэтому

Обе функции и монотонны по 0 и имеют обратные: а

Ясно, что равенство эквивалентно равенству

так что есть -ный доверительный интервал для 0. Это утверждение можно интерпретировать следующим образом: если бы ряд таких экспериментов (по наблюдений) повторялся сто раз, то каждая серия (по наблюдений) давала бы свою отдельную оценку 0. Для каждой такой оценки мы могли бы построить интервал, определенный в равенстве Тогда примерно девяносто таких интервалов содержали бы истинное значение 0.

Если величину а мы не знаем, то интервал по равенству нельзя определить. Однако хорошо известно, что в этом случае величина где

следует -распределению с степенями свободы. Следовательно, если из таблиц (например, [51, табл. 3]) мы имеем

так что

Это идеальный доверительный интервал, поскольку величина вычисляется по ьыборке. Так как состоятельная оценка для а, то равенством можно пользоваться с заменой на когда велико. В действительности, когда растет, -распределение приближается к нормальному.

Если точное выборочное распределение нам не известно, кроме того лишь, что дисперсия равна V, то для среднего 0 выборочного распределения мы можем вывести лишь «скромные» доверительные интервалы. В соответствии с неравенством Бьенэмэ — Чебышева (см. раздел 7.10 по поводу отклонения от константы более общего вида)

что эквивалентно (если положить неравенству:

Следовательно,

Мы знаем тогда, что -ный доверительный интервал для 0 содержится в интервале Если 0 — несмещенная оценка, то вместо 0 в неравенство может быть подставлено 0. Обычно смещение неизвестно, но когда число достаточно велико, то для оценок максимального правдоподобия можно считать, что они имеют нормальное выборочное распределение с дисперсией, заданной равенством и смещением, пропорциональным . В этом случае, чтобы исключить смещение, можно использовать метод Кенуя [1621. Пусть — это, как обычно, оценка для 0, основанная на наблюдениях. Пусть это оценки, основанные на наблюдении, получающиеся, когда точка из данных выпущена. Пусть это среднее для таких величин 0. Смещение для оценки 0 пропорционально в то время как смещение для каждой оценки 0 пропорционально и таково же смещение для 0. Следовательно, приближенно выполняются следующие соотношения:

где а — неизвестная константа. Умножая первое равенство на число и второе — на мы получим после подстановки соотношение

Смещение этой оценки уже порядка

Выше мы отмечали, что выбор интервала при заданном уровне (доверительной вероятности) отчасти произволен. Обычно применяемые критерии для выбора среди всех возможных функций и удовлетворяющих равенству (1), — это следующие:

1) минимальная длина. Выбрать функции и так, чтобы разность была минимальна,

2) симметрия относительно истинного значения:

3) симметрия по вероятности:

4) равные вероятности у концов интервала. Предполагается тем самым, что плотность выборочного распределения имеет равные значения в точках :

Когда плотность унимодальна и симметрична, критерии 1, 2, 3, и 4 совпадают.