4.13. Другие виды распределений

Возможно, самым большим достоинством метода максимума правдоподобия является его непосредственная применимость к формулировке большого разнообразия проблем оценивания. Если имеется закон распределения ошибок, то довольно легко написать выражение для функции правдоподобия. Если эта функция непрерывная и гладкая, ее максимум можно найти с помощью некоторых модификаций градиентного метода, описанных в главе V, как это сделано в задачах

с нормальным распределением. Однако ситуация существенно меняется в случае разрывного распределения, такого, например, как следующее. Предположим, что все ошибки измерений следуют равномерному распределению. Положим, что диапазон изменения равен Любое значение 0, для которого даже для единственного набора значений имеет нулевое правдоподобие. Все значения 0, для которых для всех , имеют одинаковую положительную функцию правдоподобия, и все они в равной степени могут рассматриваться как оценки максимума правдоподобия. Может случиться, что таких значений вообще не существует. Наилучшая процедура состоит в нахождении такого значения 0, для которого функция

достигает своего минимального значения. Если окажется, что такое минимальное значение не больше единицы, то это значит, что мы нашли оценку максимума правдоподобия. В противном случае, как мы знаем, такой оценки не существует. Тогда то, что мы нашли, есть минимаксная оценка взвешенных отклонений, описанная в разделе 4.17. В случае, когда неизвестен диапазон изменения но все ошибки имеют предположительно одинаковые диапазоны изменения, минимизация даст оценку максимума правдоподобия, причем минимальное значение будет оценкой всех

Если ошибки имеют двустороннее экспоненциальное распределение

то при известных для нахождения оценки максимума правдопо. добия необходимо минимизировать взвешенную сумму модулей остатков:

Легко проверить, что константы связаны со стандартным отклонением следующим образом:

Если положить, что для всех и все ошибки независимы, то логарифм функции правдоподобия будет выглядеть так:

Дифференцируя это выражение по приравнивая производные нулю и разрешая полученные уравнения относительно , получим оценку максимума правдоподобия:

Подставляя полученное выражение обратно в мы окончательно получим, что для оценивания 0 в случае, когда неизвестны, необходимо минимизировать функцию

Функции цели, определяемые можно отнести к обычным для задач из области математического программирования, если применить следующее преобразование. Введем новце переменные удовлетворяющие следующим условиям:

Уравнение заменится тогда следующим:

Очевидно, что если положительно, то и наоборот. Согласно теории математического программирования можно предполагать, что число ненулевых переменных в решении будет т. е. равно числу ограничений типа равенств Среди таких переменных будут I параметров в силу чего остается лишь ненулевых остатков. Это означает, что оцениваемые уравнения будут удовлетворяться по крайней мере в I точках, задающих результаты эксперимента. Следовательно, этот метод оценивания относительно нечувствителен к наличию небольшого количества наблюдений с очень большими ошибками; они будут просто игнорироваться.

Формулировка проблем математического программирования, возникающих при минимизации функций обсуждается в [121] и [186]. Келли и Вагнер занимались специально задачами линейного программирования, возникающими в случаях, когда уравнения модели линейны по параметрам.