9.4. Характеристики «качества» статистического критерия

Характеристиками точности статистического критерия проверки простых или сложных гипотез типа служат: вероятность отвергнуть основную гипотезу подсчитанная в предположении, что истинное значение «проверяемого» параметра равно ; величину называют оперативной характеристикой критерия, а значение в задаче проверки простой гипотезы есть не что иное, как уровень значимости (размер) критерия (ошибка первого рода);

вероятность отвергнуть конкурирующую (с основной) гипотезу, подсчитанная в предположении, что истинное значение «проверяемого» параметра равно ; величину называют мощностью (или функцией мощности) критерия, а значение в задаче проверки простой гипотезы против альтернативы есть не что иное, как ошибка 2-го рода.

Обсудим эти характеристики и зависящие от них свойства критерия.

Пусть — область возможных значений критической статистики — описанные в § 9.2 соответственно области «правдоподобных» и «неправдоподобных» (в условиях справедливости гипотезы ) значений

Тогда очевидно:

где — соответственно вероятность события А и плотность распределения критической статистики подсчитанные в предположении, что истинное значение проверяемого параметра равно .

В условиях проверки параметрических гипотез вида с заданным уровнем значимости критерий называется несмещенным, если

И наконец, критерий называется состоятельным, если

Последнее соотношение означает, в частности, что функция мощности состоятельного критерия стремится (при ) к единице при любом значении , не входящем в область гипотетичных (в соответствии с гипотезой ) значений параметра.

Из (9.12) очевидно, что при любом фиксированном объеме выборки перестройка критерия в направлении уменьшения уровня значимости а (т. е. сужения области ) связана с одновременным увеличением ошибки 2-го рода, а в общем случае — с уменьшением значений функции мощности (так как при этом расширяется область отклонения альтернативы ). И наоборот: перестройка критерия (в любом фиксированном классе критериев, в том числе и в классе наиболее мощных критериев) в направлении увеличения его мощности связана (при фиксированном объеме выборки ) с неизбежным одновременным увеличением его уровня значимости.

В то же время неограниченным увеличением объема выборки (т. е. при ) можно добиваться сколь угодно малых значений для вероятностей ошибок вида

Для больших объемов выборок (т. е. асимптотически по ) существуют соотношения, связывающие между собой характеристики (см., например, [40, с. 310—311]). Остановимся здесь на одном полезном соотношении такого типа, позволяющем, в частности, определять объем выборки , необходимый в критерии отношения правдоподобия (Неймана — Пирсона) для различения двух простых гипотез

с ошибками первого и второго рода, не превосходящими заданных значений соответственно (величина ) характеризует «расстояние» между гипотезами где интегрирование ведется по всей области возможных значений наблюдаемой случайной величины X, а — ее плотность распределения). В [4] показано, что в достаточно широком классе случаев при различении близких простых гипотез (т. е. при малых значениях р) справедлива приближенная (асимптотическая) формула

в которой как и прежде, квантиль уровня q (или -квантиль) стандартного нормального закона распределения (см., например, табл, 1,3 в [16]).

Замечание. Обратим внимание читателя на практическую неизбежность проявления двух «невыгодных» для всей теории проверки статистических гипотез эффектов: эффекта «слишком малого объема выборки» и эффекта «слишком большого объема выборки».

Эффект «слишком малого объема выборки» состоит в том, что при заданной величине уровня значимости критерия (а) и малом числе наблюдений на основании которых принимается решение, мощность критерия, т. е. вероятность отклонить проверяемую «нулевую» гипотезу в ситуации, когда она в действительности не имеет места, оказывается слишком маленькой (приближенное представление о взаимосвязи величин дает формула ). Есть два выхода из этой ситуации: либо увеличить объем выборки , либо несколько увеличить уровень значимости а, что повлечет соответствующее уменьшение (т. е. увеличение мощности критерия ).

Для пояснения эффекта «слишком большого объема выборки» приведем рассуждение Берксона (Journ. Amer. Statist. Assoc., 33 (1938), p. 526): «Никто в действительности не считает, что какая-либо гипотеза выполняется точно: мы просто строим абстрактную модель реальных событий, которая в какой-то мере обязательно отклоняется от истины. Однако, как мы видим, огромная выборка почти наверняка (т. е. с вероятностью, стремящейся к единице при неограниченном возрастании отвергает в этом случае нашу гипотезу при любом заданном уровне значимости а».

Казалось бы, налицо «тупиковая» ситуация: при малых выборках вывод статистически ненадежен, а при слишком больших — однозначно предопределен. Так, например, авторы неоднократно наблюдали обескураживающее действие эффекта больших на прикладника-исследователя, пытающегося с помощью критериев согласия подобрать подходящий модельный закон для описания распределения исследуемой генеральной совокупности и неизменно приходящего при этом к отрицательному результату (т. е. к отвержению проверяемой гипотезы).

Чтобы избежать эффекта большой выборки, априорное задание характеристик точности критерия (уровня значимости а и ошибки второго рода Р) необходимо увязывать с объемом имеющихся данных (): выигрыш в «чувствительности» критерия, получающийся в результате увеличения

, целесообразно использовать для уменьшения как а, так и . В частности, если определить уменьшение а при возрастании , то очень малые отклонения от уже не приведут к обязательному отвержению этой гипотезы: вероятность этого факта будет зависеть от того, с какой «скоростью» (с ростом ) убывает а.