§ 10.7. Решения уравнения правдоподобия

Мы исследуем теперь свойства функции правдоподобия где наблюдения образуют повторную выборку большого объема с о. в. п. . Сделаем следующие предположения о семействе о. в. п. .

Предположение Для всех значений из некоторой окрестности точки существуют производные второго порядка

Напомним, что при всех . Поэтому если этот интеграл продифференцировать по то получим 0. Таким образом, следующее предположение можно интерпретировать как утверждение о возможности перемены порядка операций дифференцирования и интегрирования. Это свойство постулируется только для производных в точке

Предположение

Предполагается, что для всех Пусть определено следующим образом:

Предположение Функции супернепрерывны в точке и для всех математические ожидания конечны. Для всех положим

Предположение Функция I положительна и непрерывна в окрестности

Пусть теперь число наблюдений становится произвольно большим. Говорят, что последовательность статистик состоятельна, если с вероятностью 1

В следующей теореме в качестве следствия указанных четырех предположений мы установим существование состоятельной последовательности статистик. Мы покажем там также, что такая последовательность может быть составлена из решений следующего уравнения, которое называется уравнением правдоподобия:

Теорема 1. Пусть выполнены предположения Тогда с вероятностью 1 найдется натуральное число такое, что при всех уравнение правдоподобия (4) имеет решение

и для последовательности статистик справедливо соотношение (3).

Доказательство. Из предположения и теоремы 2 § 10.6 следует, что

Однако при всех

Поэтому в силу предположений

Из (5) видно теперь, что функция непрерывна и строго убывает в точке Далее, по предположению имеем Следовательно, при всех достаточно малых будет

Из усиленного закона больших чисел следует, что для всех с вероятностью 1

Поэтому для любого верно следующее утверждение: с вероятностью 1 найдется число такое, что при всех

Из предположенной дифференцируемости функции выводим, что при любом и всех значениях функция как функция от непрерывна в интервале Поэтому, согласно (9), вероятность того, что уравнение (4) имеет решение, лежащее между при всех равна 1. Так как произвольно мало, теорема доказана.

Дальнейшие замечания и ссылки на литературу. Теоремы, устанавливающие аналогично теореме 1 существование состоятельной последовательности решений уравнения правдоподобия (4), доказаны для многих различных условий. Такие теоремы имеются, например, в книгах Крамера (1946), гл. 33, Уилкса (1962), гл. 12, и Рао (1965), гл. 5, а также в статьях Хузурбазара (1948), Куллдорфа (1957) и Вейсса (1963).

Для произвольного объема выборки и произвольных значений наблюдений оценкой максимального правдоподобия называется значение максимизирующее функцию правдоподобия или, что то же самое, логарифм этой функции Во многих статистических задачах оценку максимального правдоподобия находят, решая уравнение правдоподобия (4), а затем проверяя, что полученное решение действительно доставляет максимум функции правдоподобия. Однако без дополнительной информации статистик не может быть уверен в том, что при последовательность оценок максимального правдоподобия является состоятельной последовательностью решений из теоремы 1. Тем не менее, как показал Вальд (1949), при достаточно общих условиях последовательность оценок максимального правдоподобия состоятельна.