7. Метод максимума правдоподобия

Другим подходом, основанным на соображениях, отличных от использованных в предыдущих разделах, является метод максимума правдоподобия. В большом числе проблем он приводит к рациональным процедурам и до сих пор играет доминирующую роль при отыскании новых критериев или оценок. Предположим на время, что X может принимать только конечное или счетное число значений с вероятностями Допустим, что мы хотим определить истинное значение по наблюденному х. Естественно посмотреть для каждого возможного , сколь вероятным было бы х, если бы было истинным значением параметра. Чем выше эта вероятность, тем более мы склоняемся к мнению, что рассматриваемое является истинным; т. е., иными словами, тем более праводоподобным представляется нам это значение. В соответствии со сказанным, выражение рассматриваемое при фиксированном х как функция от , называется функцией правдоподобия для . Чтобы подчеркнуть это изменение точки зрения, обозначим функцию правдоподобия Предположим теперь, что мы сталкиваемся с проблемой действия, включающей конечное или счетное число возможных решений, и что эта проблема сформулирована не в терминах потерь, как обычно, а в терминах выигрышей: выигрыш равен нулю, если принято неправильное решение, и равен если принято правильное решение и — истинное значение параметра. Тогда представляется естественным снабдить значения функции правдоподобия весами, равными соответствующим выигрышам, и определить значение , максимизирующее произведение а затем принять

такое решение, которое было бы правильным, если бы найденное было верным. Сделанные замечания применимы и к случаю непрерывных распределений, когда обозначает плотность вероятности. Приведенные мотивировки неприменимы непосредственно к задаче оценки непрерывного параметра, однако этот случай можно рассматривать как предельный.

В задачах точечной оценки предполагают обычно не зависящим от . Тем самым в качестве оценки используют значение, максимизирующее функцию правдоподобия т. е., как говорят, оценку наибольшего правдоподобия. Другой интересный случай — проблемы с двумя решениями (ср. пример 1 (I)). Пусть обозначают множества значений , для которых правильными являются решения соответственно, и пусть при при Мы принимаем решение или в зависимости от того, будет ли меньше или больше т. е. будет ли

Эта процедура приводит к критерию отношения правдоподобия.

Хотя принцип максимального правдоподобия не основывается на каких-либо ясно выраженных соображениях оптимальности, он применяется весьма успешно и приводит к удовлетворительным процедурам во многих конкретных задачах. Было показано также, что в широком классе задач метод максимального правдоподобия обладает свойством асимптотической оптимальности при неограниченно растущем объеме выборки. С другой стороны, существуют примеры, в которых метод максимального правдоподобия более чем бесполезен. Действительно, в этих примерах он столь плох, что можно найти лучший ответ, вовсе не прибегая к наблюдениям (см. задачу 18 в главе 6).