§ 4.4. Вариационные задачи минимизации и методика их решения

Определение оптимальной на классе функции потерь

сводится к нахождению наименее благоприятной плотности распределения являющейся решением вариационной задачи минимизации (4.3.9), которая с учетом представления нормированной информационной матрицы (4.2.18)

запишется в виде

В общем случае

Напомним, что фишеровская информация и дисперсия входящие в левую часть (4.4.2), определяются выражениями

Как следует из результатов, приведенных в § 1.6:

для -объектов с простой помехой (см. (1.6.34)) и, значит,

для АР-объектов (см. (1.6.39)) и, значит,

для -объектов с преобразованной помехой (см. значит,

для -объектов (см. (1.6.41)) и,значит,

Нетрудно видеть, что для -объектов с простой помехой и АР-объектов матричный принцип оптимальности на классе справедлив всегда. Вариационная задача минимизации (4.4.2) в этих случаях существенно упрощается. Так, для -объектов с простой помехой, учитывая (4.4.5), получаем из (4.4.2) следующую задачу

Наименее благоприятная плотность распределения доставляет минимум фишеровской информации на соответствующих классах плотностей распределения Для АР-объектов при учете (4.4.6) из (4.4.2) получаем такую задачу:

Наименее благоприятная плотность распределения доставляет минимум произведению фищеровской информации и дисперсии на соответствующих классах плотностей распределения Для -объектов с преобразованной помехой и РАР-объектов, как видно из (4.4.7) и (4.4.8), вариационная задача минимизации (4.4.2) не упрощается.

Остановимся теперь на ограничениях, задающих классы плотностей распределения Эти ограничения определяются условиями вида:

где аргумент соответствующих функций. В частности, условие нормировки плотности распределения имеет вид (4.4.11), а условие ее положительности относится к виду (4.4.12). Ограничение на дисперсию имеет вид (4.4.11) при Ограничение типа можно записать как где дельта-функция, либо как ограничение (4.4.12) при для когда Условие типа эквивалентно ограничению имеет вид (4.4.12).

Вариационную задачу минимизации, возникающую при нахождении наименее благоприятной плотности распределения, а значит, и оптимальной на классе функции потерь, можно сформулировать так:

Это вариационная задача минимизации неклассического типа, и какие-либо общие методы ее решения к настоящему времени отсутствуют.

В тех случаях, например, когда в (4.4.13) отсутствуют ограничения вида можно использовать классический путь, основанный на уравнении Эйлера. В этом случае составляется функционал Лагранжа

где множители Лагранжа. Варьируя этот функционал и приравнивая вариацию нулю, получаем интегро-дифференциальное

уравнение относительно

Это уравнение можно назвать обобщенным уравнением Эйлера. Наряду с этим уравнением рассмотрим дифференциальное уравнение

которое зависит от к произвольных параметров До, Решение уравнения (4.4.15) совпадает с решением уравнения где при соответствующих граничных условиях (типа или и определении вектора А из ограничений, задающих класс плотностей распределения V, а также из условия

Полученное таким путем решение будет удовлетворять уравнению (4.4.15) и ограничениям, определяющим класс Заметим, что уравнение (4.4.16), как правило, не интегрируется в квадратурах. Поэтому его приходится решать численными методами. Здесь, однако, возникает серьезное препятствие при необходимости учета ограничений типа подход основан на прямых численных методах решения вариационной задачи минимизации (4.4.13). Они связаны с той или иной аппроксимацией плотности распределения и последующим решением задачи математического программирования.

Так, если аппроксимировать кусочно линейной финитной функцией, интегралы — суммами, а производные — разностями, мы приходим к задаче нелинейного программирования с линейными ограничениями:

Для подобной задачи нелинейного программирования известны хорошо разработанные методы решения.

Для минимизации фишеровской информации (4.4.9) в тех случаях, когда существует аналитическое решение для наименее благоприятной плотности распределения можно использовать простой подход, основанный на неравенстве Коши — Буняковского

Равенство в (4.4.18) достигается при условии пропорциональности функций и условии

где А — числовой множитель.

Выберем в качестве функции информант

Принимая во внимание определение фишеровской информации (4.4.4), неравенство (4.4.18) можно преобразовать к виду

Правая часть неравенства (4.4.21) определяет нижнюю границу фишеровской информации и эта нижняя граница равна

Следовательно,

Если для некоторой плотности распределения в V выполнено условие, аналогичное (4.4.19), т. е.

то при неравенство (4.4.21) обращается в равенство, т. е.

Плотность распределения зависит от параметра А, так что Если при некотором значении фишеровская информация в (4.4.25) равна то в силу представляет собой наименее благоприятную плотность распределения на классе .

Описанный способ отыскания наименее благоприятной плотности распределения остается в силе, если правую часть (4.4.21) представить в несколько иной форме.

Если то интегрирование по частям дает Поэтому из (4.4.21) получим неравенство

Это неравенство иногда удобнее использовать для отыскания наименее благоприятной плотности распределения чем неравенство (4.4.21).

Условие (4.4.24) представляет собой дифференциальное уравнение. Интегрируя его, получим

Здесь значение при Это значение находится из условия нормировки (4.1.2), которое для симметричных плотностей распределения (4.1.1) имеет вид

Подставляя (4.4.27) в (4.4.28), находим

и, значит, из (4.4.27) получим

Если минимум функционала, стоящего в правой части неравенства (4.4.21) или (4.4.26), на заданном классе V достигается на плотности распределения совпадающей при некотором А с плотностью распределения (4.4.30), то является решением задачи минимизации (4.4.9) и, следовательно, представляет собой наименее благоприятную плотность распределения для класса

Таким образом, для определения наименее благоприятной плотности распределения можно поступить следующим образом:

1) задавшись функцией найти минимум I правой части неравенства (4.4.21) или (4.4.26) по плотностям распределения из класса

2) определить по (4.4.30) плотность распределения зависящую от произвольного параметра А, и найти такое которое минимизирует правую часть неравенства (4.4.21) (или по плотностям распределения вида принадлежащим заданному классу V,

3) проверить выполнение равенства Если это равенство выполнено, то найденная плотность распределения представляет собой наименее благоприятную плотность распределения на классе .

Естественно, простота описанного подхода не дается даром. Его успех определяется адекватностью выбранной функции заданному классу

В заключение отметим, что поскольку производная оптимальной на классе функции потерь аргументу равна негинформанту

то из (4.4.24) получаем

Это значит, что производная оптимальной на классе функции потерь определяется функцией и найденным фиксированным значением параметра Этот факт важен с той точки зрения, что он позволяет широко использовать интуитивные соображения неформального характера при определении оптимальных на классе функций потерь для различного уровня априорной информации о помехах.

Описанные выше подходы далее мы будем использовать как для аналитического, так и для численного определения наименее благопрятных плотностей распределения на заданных классах, а значит, и для определения отимальных на классе функций потерь.