Б. ПРИНЦИП МАКСИМУМА ПРАВДОПОДОБИЯ

4.5. Определение

В разделах 2.12 —2.13 мы определили функцию правдоподобия выборки как совместную ПРВ наблюдений, являющуюся функцией неизвестных параметров Неизвестные параметры были трех типов:

1) представляют собой неизвестные параметры детерминистических моделей;

2) представляют собой истинные значения измеряемых переменных;

3) - другие параметры распределения.

В разделе 2.13 мы видели, что уравнение модели можно рассматривать как ограничения типа равенств, накладывающие связи на значения, которые могут принимать Кроме того, априорная информация о параметрах может выражаться в виде ограничений типа неравенств (например, неотрицательность параметров).

Оценка максимума правдоподобия (ОМП) параметра это значение удовлетворяющее всем ограничениям типа равенств и неравенств, при котором функция правдоподобия достигает своего максимального значения (если оно существует). При относительно слабых ограничениях на вид функции правдоподобия оценка максимального правдоподобия (ОМП) состоятельна и асимптотически эффективна. Это очень веский аргумент в пользу применения ОМП, когда объем выборки велик. Обычно ОМП не обладает какими-либо оптимальными свойствами при малых выборках. Она в общем случае не будет ни эффективной, ни несмещенной, хотя и будет достаточной, если существует достаточная статистика. Опыт отдельных авторов (см., например, [461, 1501, 1441) показал, однако, что метод максимума правдоподобия дает приемлемые оценки во многих ситуациях. Хотя для отдельных частных случаев существуют методы, дающие лучшие результаты, сильный аргумент в пользу применения метода максимума правдоподобия заключается в его общности и относительной легкости применения.

Так как логарифмическая функция является монотонно возрастающей функцией аргумента, значение максимизирующее будет максимизировать и Так как часто является более простой функцией, чем мы будем обычно формулировать задачу в терминах максимизации

Следующее эвристическое соображение может также служить для обоснования применения метода максимума правдоподобия: вероятность наблюдения выборки, лежащей в области вокруг наблюдаемой в действительности выборки выражается как Значение для которого эта вероятность максимальна, есть ОМП. Мы говорим, что наиболее вероятное значение Из всех возможных значений параметров значение обеспечит наибольшую вероятность того, что выборка будет находиться в окрестности действительно наблюдаемой выборки.