§ 2.4. Определение оптимальной функции потерь

Как было установлено в § 1.4, оптимальное решение с минимизирует средние потери для любых непрерывных четных функций потерь, Такая инвариантность оптимального решения с относительно функций потерь позволяет, на первый взгляд, выбирать такую функцию потерь, которая приводила бы к удобным и простым аналитическим результатам. Этот вывод был бы действительно справедливым, если бы в задачах идентификации мы непосредственно определяли оптимальное решение с. Но эта возможность, как правило, отсутствует. Обычно находятся лишь те или иные оценки оптимального решения по наблюдаемым данным. С ростом числа этих данных оценки при определенных условиях стремятся к оптимальному решению с. Свойства оценок существенно зависят от функции потерь. Найдем такую функцию потерь при которой оценка обладала бы максимально возможной скоростью сходимости.

Назовем оптимальной функцией потерь такую функцию потерь, которая минимизирует АМКО на некотором классе допустимых функций потерь т. е. для которой

Таблица 2.1 (см. скан) Фишеровская информация и дисперсия

Оптимальная функция потерь, таким образом, равна

где, как было показано ранее

причем

и

Предполагая, что для допустимых функций потерь

запишем в такой форме:

Найдем оптимальную функцию потерь Для этой цели рассмотрим изменение при вариации оптимальной функции потерь Обозначим

Условие экстремума можно представить в виде

Поскольку

то, дифференцируя по А и полагая получим после элементарных преобразований

Отсюда следует, что оптимальная функция потерь удовлетворяет условию

Это условие должно быть выполнено при любых вариациях следовательно,

Умножая обе части (2.4.13) на получим

Но равенство таких нормированных функций может иметь место лишь тогда, когда сами функции пропорциональны, т. е.

где — коэффициент пропорциональности. Отсюда находим

и, значит,

т. е. производная оптимальной функции потерь пропорциональна отношению производной плотности распределения помех к самой плотности.

Интегрируя обе части (2.4.16), получим, полагая затем

Из очевидных геометрических соображений следует, что постоянная определяющая, по существу, основание логарифма, должна быть отрицательной: Что же касается постоянной то она определяет минимальное значение т. е. При всегда

Таким образом, оптимальная функция потерь не единственна, а зависит от постоянных Этот факт является следствием того, что АМКО (2.4.7) зависит непосредственно от

Для задач идентификации, т. е. задач, связанных с нахождением оценок оптимального решения, конкретные значения постоянных не существенны. Удобно принять Таким образом, оптимальная функция потерь (2.4.2) равна логарифму плотности распределения помех при взятой с обратным знаком:

Пользуясь терминологией § 2.3, можно сказать, что оптимальная функция потерь равна логарифмической функции правдоподобия с обратным знаком, т. е. логарифмической функции неправдоподобия, а ее производная по аргументу (2.4.17)

равна информанту с обратным знаком, или негинформанту.

Примеры оптимальных функций потерь и их производных (оптимальных негинформантов)

для типовых плотностей распределения помехи приведены в табл. 2.2. Гауссовой плотности распределения помехи соответствует квадратичная функция потерь. Лапласовой плотности распределения помехи соответствует модульная функция потерь. Плотности распределения помехи типа Коши и другим плотностям соответствуют сложные нелинейные функции потерь.