§ 9. Приложение к изучению отношения правдоподобия в математической статистике

Мы рассмотрим теперь пример 3 из § 7 гл. II. Пусть случайные величины и пусть распределение вероятностей для величин задается плотностью распределения или плотностью являющимися беровскими функциями. Определим величину равенством.

Если распределение случайных величин на самом деле определяется плотностями то является случайной величиной, определенной с вероятностью 1. Как мы видели в § 7 гл. II, последовательность оказывается мартингалом, если только всюду, где Мы не будем делать здесь этого предположения; обсуждение, проведенное в § 7 гл. И, показывает, что без этого предположения рассматриваемая последовательность является нижним полумартингалом, т. е. что последовательность — является полумартингалом. Так как величины — неположительны, то из теоремы следует, что с вероятностью 1 существует предел

и что

Эти два утверждения можно рассматривать как обобщение принципа максимума правдоподобия. В самом деле, идея принципа максимума правдоподобия в математической статистике состоит в том, что если распределение величин задается плотностью то в каком-то среднем смысле т. е.

Кроме неравенства (9.2), этот факт выражается также неравенством

являющимся основным средством при доказательстве состоятельности оценки максимального правдоподобия. Идею неравенства (9.3) выражают иногда утверждением, что если совокупность выборочных значений, то эти полученные в действительности значения являются более

вероятными тогда, когда вычисления делаются в терминах истинной плотности, чем тогда, когда вычисления делаются в терминах какой-либо другой плотности.

Если наложить на плотности подходящие ограничения, то при больших тендендия величины не превосходить числа 1 будет проявляться очень явственно. Например, предположим, что плотности соответствуют независимым величинам имеющим одинаковые распределения, т. е. что

Мы докажем, что в этом случае с вероятностью 1

если только не равно почти всюду (по -мере Лебега) т. е. если распределения не являются идентичными. Это будет один результатов интересующего нас типа.

а) Докажем сперва, что или с вероятностью 0, или с вероятностью 1. В самом деле, из вида бесконечного произведения, определяющего величину ясно, что если величина имеет то же распределение, что и величина не зависит от то произведение имеет снова то же самое распределение, что и величина х. Значит,

так что

б) Покажем, что если с вероятностью 0, то с вероятностью 1. Действительно, в. этом случае величина имеет то же самое распределение, что и Пусть общая характеристическая функция этих случайных величин. Тогда откуда следует, что (поскольку и непрерывная функция), так что с вероятностью 1. Это значит, что с вероятностью

в) Наконец, очевидно, что если с вероятностью 1, то также с вероятностью 1

Отсюда следует, что с вероятностью 1. А это значит, что почти всюду, где т. е., поскольку интеграл по всей оси от каждой из функций равен единице, почти всюду на оси

Мы проверили, таким образом, общий принцип, лежащий в основе метода максимума правдоподобия, для взаимно независимых величин, имеющих одинаковую функцию распределения: всегда, кроме того случая, когда два распределения совпадают, величина с вероятностью 1 стремится к О при (вероятности вычисляются на основании распределения

На практике этот принцип применяют следующим образом: выбирают положительную постоянную а, и если заданной выборке оказывается, что то считают, что истинным является распределение в противном случае принимают за истинное распределение Мы только что показали, что если велико, то вероятность неправильного решения будет мала и, более того, что с вероятностью 1 наступит в последовательности испытаний такой момент, после которого этот метод вообще перестанет приводить к ошибкам (на статистическом языке это означает, что принятый метод оценки является «состоятельным»). Обычно выбор нужно производить из целого семейства распределений, зависящего от параметра , причем известно, что одно из значений этого параметра приводит к истинному распределению Метод максимума правдоподобия состоит в том, что по заданной выборке выбирают то значение параметра при котором произведение достигает максимума (если только такое значение существует). Согласно только что доказанной теореме, для любого «неправильного» значения неравенство

где а — фиксированная положительная постоянная, в конце концов начнет нарушаться. Однако чтобы обеспечить сходимость к с вероятностью 1, нужно наложить дополнительные ограничения.