7.4. НЕРЕГУЛЯРНЫЙ СЛУЧАЙ. СУПЕРЭФФЕКТИВНЫЕ ОЦЕНКИ

При нарушении условий регулярности интегралы, определяющие матрицу Фишера, не существуют и неравенство Крамера — Рао становится неприменимым. Причиной нерегулярности являются разрывы функции правдоподобия, наличие которых обусловливает возможность получения оценок повышенной точности. Если оценка параметра производится по совокупности данных наблюдения и средний квадрат отклонения убывает с ростом и быстрее, чем то такая оценка называется суперэффективной.

Приведем простейший пример подобного рода. Пусть имеется совокупность независимо распределенных величин каждая из которых распределена равномерно на интервале где — неизвестный параметр, подлежащий оценке. Их совместное распределение вероятности имеет плотность

равную нулю при всех остальных значениях Функция правдоподобия (7.4.1) при любых фиксированных значениях возрастает с уменьшением до значения

в точке имеет разрыв и при обращается в нуль.

Таким образом, величина из (7.4.2) является оценкой макси мального правдоподобия.

Эта оценка — максимальная из величин имеет при любом фиксированном значении 9 плотность распределения вероятности

Средний квадрат отклонения равен

и при больших имеет порядок т. е. стремится к нулю значительно быстрее, чем средний квадрат отклонения для эффективной оценки в регулярном случае.

Оценка максимального правдоподобия (7.4.2) имеет смещение

Несмещенная суперэффективная оценка получается из (7.4.2) умножением на поправочный коэффициент Для этой оценки средний квадрат отклонения равен

и при меньше, чем в случае оценки максимального правдоподобия. Можно получить оценку с еще меньшим средним квадратом отклонения, если ввести другой поправочный коэффициент, равный Эта оценка

является минимаксной оценкой параметра 6 и имеет следующий средний квадрат отклонения от истинного значения:

Она также является смещенной, но имеет смещение

порядка быстро убывающее с ростом

Обратимся теперь к общему случаю, рассмотрев для этого асимптотическое поведение функции правдоподобия. Используя введенную в (7.2.1) функцию , можно представить функцию правдоподобия в виде

где некоторое произвольное значение параметра в обязательно истинное, как в § 7.2). При больших значениях функция близка к своему математическому ожиданию Поэтому имеет место следующее асимптотическое равенство:

Выберем в качестве во значение в, максимизирующее функцию правдоподобия, т. е. оценку максимального правдоподобия Тогда

Правая часть этого выражения задает асимптотическое представление функции правдоподобия и может рассматриваться как совместная плотность вероятности оценки максимального правдоподобия и некоторой новой случайной величины дополняющей преобразование совокупности случайных величин до взаимооднозначного. Качественно новым в этом представлении по сравнению с общей записью плотности вероятности для преобразованной совокупности данных наблюдения типа (7.1.8) является то, что функция которая только содержит зависимость функции правдоподобия от параметра в, задается вполне определенным выражением (7.2.2) и зависит непосредственно лишь от но не от Если экспоненциальный множитель в (7.4.12) интегрируется по то при соответствующей нормировке он задает асимптотическую плотность вероятности оценки максимального правдоподобия, причем, как следует из (7.4.12), эта оценка является асимптотически достаточной.

В § 7.2 показано, что в точке функция достигает максимума. Поэтому в этой точке производная этой функции по любому направлению либо равна нулю (тогда мы имеем регулярный случай с обращением в нуль градиента функции либо для всех или некоторых направлений отлична от нуля и отрицательна (нерегулярный случай).

В регулярном случае в соответствии с результатами § 7.3 имеет место асимптотическое представление:

и плотность вероятности оценки максимального правдоподобия

где С — нормирующий множитель, что соответствует сформулированному в § 7.3 утверждению об асимптотической нормальности и асимптотической эффективности регулярной оценки максимального правдоподобия. При этом матрица Фишера имеет порядок а обратная ей корреляционная матрица ошибок при оценивании параметра порядок

В нерегулярном случае функция в окрестности точки имеет вид конической поверхности благодаря отличию от нуля производной этой функции по направлению и главным членом в разложении функции по степеням разности является не квадратичная форма (7.4.13), а линейное относительно модуля этой разности выражение вида

где модуль разности абсолютное значение производной функции в точке по направлению, задаваемому единичным вектором При этом асимптотическое выражение для плотности вероятности оценки максимального правдоподобия имеет вид

где С — нормирующий множитель. Из (7.4.16) следует, что в общем случае нерегулярная оценка максимального правдоподобия имеет средний квадрат отклонения от истинного значения 0 порядка

Если для некоторых направлений производная функция принимает бесконечные значения, то в области значений соответствующей этим направлениям, плотность вероятности обращается в нуль. Рассмотрим снова предыдущий пример Для него

а модуль производной k равен бесконечности в направлении и в направлении Поэтому

где нормировочная константа Это же выражение получается из точного выражения (7.4.3) заменой

Приведем в заключение еще один пример нерегулярной суперэффективной оценки максимального правдоподобия. Пусть наблюдается совокупность независимых величин каждая из которых имеет плотность распределения вероятности

и равную нулю при . Пусть — неизвестный параметр сдвига, подлежащий оценке. Максимум функции правдоподобия

достигается при

так как при функция правдоподобия экспоненциально уменьшается с уменьшением , а при обращается в из-за свойств плотности вероятности (7.4.17). Таким образом, минимальная из величин является оценкой максимального правдоподобия (7.4.19) для параметра сдвига распределения вероятности. Функция в данном случае имеет вид

т. е. сразу представляется в виде (7.4.15), а плотность распределения вероятности оценки максимального правдоподобия определяется выражением

где С — нормирующий множитель.

В данном случае это выражение является точным, в чем легко убедиться, записав плотность распределения вероятности минимальной из величин распределенных в соответствии с (7.4.17).

Продолжим рассмотрение этого примера, предположив, что и параметр а также неизвестен и подлежит оценке. Максимизируя (7.4.18) по 0 и а, получаем наряду с (7.4.19) оценку максимального правдоподобия для параметра а

где по-прежнему определяется выражением (7.4.19). Эта оценка является регулярной, поскольку функция правдоподобия дифференцируема по а. Для нахождения совместного асимптотического распределения вероятности оценок и найдем функцию этом следует воспользоваться формальным выражением (7.2.2), понимая под вектором в совокупность Соответствующее математическое ожидание равно

Сохраняя в (7.4.23) члены не выше второго порядка, получаем для асимптотической плотности распределения вероятности выражение

из которого следует, что оценки максимального правдоподобия параметров и а асимптотически независимы, причем оценка параметра суперэффективна со средним квадратом отклонения от истинного значения

а оценка параметра а эффективна со средним квадратом отклонения

Приведенные примеры иллюстрируют возможности нахождения асимптотических распределений вероятности оценок максимального правдоподобия с помощью математического ожидания логарифма отношения правдоподобия как в регулярном, так и в нерегулярном или смешанном случае.