§ 119. Критерии оптимума

Вопрос о выборе критерия для сравнения различных систем, имеющих одинаковое назначение, как и всякий вопрос о выборе критериев, не может быть решен средствами математики. Этот вопрос следует решать с позиций здравого смысла, исходя из анализа условий работы системы и ее назначения. В зависимости от выбора конкретного критерия решение задачи определения оптимальной системы будет различным. Однако в большинстве задач можно указать много практически целесообразных критериев, обладающих тем свойством, что система, оптимальная с точки зрения одного из критериев, близка К системам, оптимальным с точки зрения других критериев. А так

как практически всегда важно лишь, чтобы система была близка к оптимальной, то вопрос о выборе критерия почти всегда имеет бесчисленное множество решений.

В предыдущей главе мы видели, что качество статистических оценок часто бывает целесообразно характеризовать величиной средней квадратической ошибки. Естественно распространить применение этого критерия на более общий случай нахождения статистических оценок сигналов, представляющих собой случайные функции. Тогда, вводя для ошибки системы обозначение

получим условие оптимума системы в виде:

Величина представляет собой начальный момент второго порядка ошибки приближения. Положительный корень квадратный из величины обычно называется средней квадратической ошибкой системы. Поэтому условие (119.2) обычно называется критерием минимума средней квадратической ошибки.

Естественным обобщением критерия минимума средней квадратической ошибки является критерий минимума заданной функции ошибки, в частности некоторой степени модуля ошибки.

Величина как момент второго порядка ошибки, может быть выражена при помощи формулы (50.7) через математическое ожидание и дисперсию ошибки, т. е. является функцией математического ожидания и дисперсии ошибки. Поэтому вторым естественным обобщением критерия минимума средней квадратической ошибки является критерий экстремума заданной функции математического ожидания и дисперсии ошибки:

Это обобщение критерия минимума средней квадратической ошибки предложено Н. И. Андреевым, который вывел общие необходимые и достаточные условия для определения оптимальной системы по этому критерию в произвольном классе систем и дал общее решение задачи определения оптимальной линейной системы [2, 3, 4]. Если закон распределения ошибки полностью определяется ее математическим ожиданием и дисперсией, например, если ошибка распределена нормально, то частным случаем критерия (119.3) является критерий максимума вероятности того, что ошибка не выйдет из заданных пределов:

где данная функция. При том же условии частным случаем критерия (119.3) является также критерий минимума предела, который с заданной вероятностью не превышается модулем ошибки:

где данное положительное число, меньшее единицы.

Критерий минимума средней квадратической ошибки в форме (119.2) применим как в случае скалярного, так и в случае векторного сигнала В последнем случае аргумент включает номер составляющей векторной случайной функции и критерий (119.2) дает одновременное и независимое приближение всех составляющих вектора Однако для векторных сигналов можно выбрать за критерий качества системы некоторую величину, зависящую от всех составляющих вектора ошибки, например математическое ожидание суммы квадратов модулей всех составляющих вектора ошибки. Естественным обобщением критерия (119.3) при такой постановке задачи является критерий экстремума заданной функции математических ожиданий, дисперсий и корреляционных моментов составляющих вектора ошибки:

где

Задача определения оптимальной системы по критерию (119.6) также впервые была поставлена Н. И. Андреевым, который вывел соответствующие необходимые и достаточные условия оптимальности системы [2, 3, 4]. Критерий максимума вероятности попадания вектора ошибки в заданную область является частным случаем критерия (119.6) при условии, если закон распределения вектора ошибки полностью определяется его математическим ожиданием и корреляционной матрицей. Частным случаем критерия (119.6) при этом условии является и критерий минимума величины, которую с заданной вероятностью не превзойдет модуль вектора ошибки.

Все перечисленные критерии основаны на количественной оценке ошибки приближения, т. е. разности между оценкой сигнала и сигналом. Вследствие этого они могут применяться только для решения некоторых задач воспроизведения сигналов. В задачах обнаружения сигналов, для которых имеет значение не величина ошибки, а лишь качественный факт наличия или отсутствия ошибки, приходится пользоваться другими критериями. В примере 3 § 16 мы пользовались для этой цели критерием минимума вероятности ошибочного решения. Предполагая, что система решает, что сигнал есть, если его оценка превышает некоторый уровень с, и решает, что сигнала нет, если можем записать этот критерий в виде:

Вторым критерием для решения задачи обнаружения сигналов может служить критерий условного минимума вероятности ошибочного решения при заданной условной вероятности ложного обнаружения сигнала, когда он отсутствует в наблюдаемой случайной функции, т. е. критерий (119.8) при дополнительном условии

Этот критерий обычно называется критерием Неймана — Пирсона.

В §§ 10 и 18 мы видели, что вероятность любого события может быть выражена как математическое ожидание характеристической функции соответствующего этому событию множества значений случайных величин. Поэтому критерий (119.8) можно представить в виде:

где функция определяется равенствами:

Для отыскания условного минимума вероятности при дополнительном условии (119.9), согласно методу неопределенных множителей Лагранжа, необходимо найти минимум величины

где — неопределенный множитель, и после этого определить так, чтобы было выполнено условие (119.9). Обозначая через соответственно вероятность наличия и вероятность отсутствия сигнала в наблюдаемой случайной функции можем переписать равенство (119.12) в виде:

где

Из формулы (119.13) видно, что критерий минимума величины также можно представить в форме (119.10), если определить функцию I равенствами:

где X — неопределенный параметр.

Таким образом, критерий минимума вероятности ошибки и критерий условного минимума вероятности ошибки при заданной условной вероятности ложного обнаружения сигнала при его отсутствии в наблюдаемой случайной функции являются частными случаями критерия (119.10), причем для первого критерия функция определена полностью, а для второго критерия она содержит неопределенный параметр X, который должен быть определен после нахождения минимума из дополнительного условия (119.9).

Легко видеть, что и некоторые другие из рассмотренных критериев являются частными случая критерия (119.10). Так, например, критерий минимума средней квадратической ошибки (119.2) может быть представлен в виде (119.10), если определить функцию формулой

Точно так же критерий максимума вероятности того, что ошибка не превзойдет по модулю данную величину, (119.4) может быть представлен в форме (119.10), если принять за функцию характеристическую функцию соответствующего множества значений ошибки:

Частным случаем критерия (119.10) является также рассмотренный в предыдущей главе критерий максимума правдоподобия. Действительно, рассмотренная в § 116 задача нахождения оценки векторного параметра по результатам наблюдения конечномерного случайного вектора X является частным случаем поставленной в предыдущем параграфе общей задачи теории оптимальных систем, когда области состоят из конечного числа значений аргументов и соответственно. Полагая

получим в этом случае, сохраняя обозначения § 116,

Критерий максимума правдоподобия определяет такую функцию которая обеспечивает максимум подынтегральной функции в (119.19) при любом значении х. Следовательно, критерий максимума правдоподобия обеспечивает минимум величины (119.19), что и доказывает высказанное утверждение.

В задачах практики часто оказывается полезным также критерий (119.10) при выборе функции I в виде:

В § 121 мы увидим, что общие критерии (119.3) и (119.6) приводятся к виду (119.10) с функциями содержащими неопределенные параметры, которые определяются соответствующими дополнительными условиями.

Таким образом, мы получаем следующий общий принцип оценки качества системы и выбора критерия оптимальности. Качество решения задачи в каждом конкретном случае оценивается некоторой функцией значение которой определяется конкретными реализациями сигнала и его оценки Эту функцию целесообразно назвать функцией потерь или функцией цени ошибки. Качество решения задачи в среднем для данной реализации сигнала при всех возможных реализациях оценки соответствующих данной реализации сигнала оценивается условным математическим ожиданием функции потерь при данной реализации сигнала:

Эту величину обычно называют условным риском. Условный риск зависит от оператора А, определяющего оценку и от реализации сигнала что и отражено в его обозначении. Наконец, среднее качество решения задачи при всех возможных реализациях сигнала и его оценки характеризуется математическим ожиданием условного риска, равным на основании (17.9) безусловному математическому ожиданию функции потерь:

Эту величину естественно назвать средним риском. Установив таким образом меру качества оценки сигнала мы можем принять за критерий оптимальности системы критерий минимума среднего риска, который имеет форму (119.10).

Если требуется обеспечить наилучшее решение задачи приближения при некоторых дополнительных условиях, то, представив эти дополнительные условия в виде:

и применяя метод неопределенных множителей Лагранжа мы сведем задачу к отысканию минимума величины

Эту величину, очевидно, можно рассматривать как средний риск, соответствующий функции потерь

содержащей неопределенные параметры В рассмотренном выше случае критерия Неймана—Пирсона для обнаружения сигналов дополнительное условие (119.9) может быть представлено в форме (119.23), где

Изложенное показывает, что все рассмотренные выше критерии являются частными случаями критерия минимума среднего риска, соответствующими различным способам выбора функции потерь. При этом функция потерь полностью определена и известна заранее, если требуется обеспечить безусловный минимум среднего риска, и зависит от неопределенных параметров, если требуется обеспечить условный минимум среднего риска при некоторых дополнительных условиях.

Однако класс всех возможных критериев вида (119.10) не исчерпывается теми критериями этого вида, для которых функция потерь I заранее задана или задана с точностью до конечного числа неопределенных параметров. В некоторых случаях функция потерь может зависеть от того, как строится оценка т. е. от оператора А. В таких случаях функция потерь I остается неопределенной до тех пор, пока не найден оптимальный оператор А, и задача приближения случайных функций сводится к совместному определению оптимального оператора А, обеспечивающего минимум среднего риска, и соответствующей этому оператору функции потерь Так, например, критерий минимума потери информации, которым иногда пользуются [99], на основании формулы (44.2) может быть представлен в форме (119.10), если определить функцию потерь формулой

где плотность вероятности сигнала условная плотность вероятности сигнала относительно оценки

До сих пор мы рассматривали только такие критерии, для которых функция потерь зависит от значений сигнала и его оценки, соответствующих одному определенному значению аргумента Все подобные критерии обеспечивают оптимальное приближение оценки к сигналу при каждом данном значении В некоторых случаях приходится довольствоваться наилучшим приближением оценки к сигналу в среднем в некоторой области 5 изменения аргумента

В подобных случаях функция потерь будет зависеть от всех значений сигнала и его оценки в области 5, т. е. является функционалом от сигнала и его оценки. Так, например, критерий минимума усредненной по области 5 средней квадратической ошибки может быть представлен в форме (119.10), если принять

где некоторая положительная функция веса, характеризующая относительную важность различных значений Точно так же более общий критерий минимума усредненной по области 5 линейной комбинации средних квадратов ошибки и ее производных, предложенный Ю. П. Леоновым [37], является частным случаем критерия (119.10) при

где

Функции потерь (119.28) и (119.29) являются функционалами от сигнала и его оценки.

Иногда в качестве критерия для расчета следящих систем предлагают пользоваться критерием минимума математического ожидания числа выходов ошибки из заданных пределов в течение заданного интервала времени [38]. В примере 5 § 107 мы видели, что число выходов случайной функции из заданных пределов в области 5 определяется формулой (107.42). Следовательно, критерий минимума математического ожидания числа выходов ошибки из заданных пределов в течение интервала времени 5 также имеет форму (119.10) при

В этом случае функция потерь также является функционалом от сигнала и его оценки.

При решении задачи определения оптимальной системы по критерию минимума потери информации иногда бывает целесообразно оценивать качество решения задачи не потерей информации о значении сигнала при каждом данном значении аргумента 5, а потерей информации о совокупности значений сигнала, соответствующих нескольким значениям 5 в области , или даже потерей информации о сигнале в целом в области В этом случае критерий минимума потери информации также может быть представлен в форме (119.10),

где функция потерь определяется формулой (119.27), в которой являются векторами соответствующего числа измерений. При этом в случае, когда качество решения задачи оценивается суммарной потерей информации о всех значениях сигнала в области 5, функция потерь должна быть определена при помощи соответствующего предельного случая формулы (119.27). Таким образом, и для критерия минимума потери информации функция потерь может быть функционалом от сигнала и его оценки.

Все критерии минимума среднего риска, соответствующие всем возможным определенным функциям или функционалам потерь, которые могут содержать неопределенные параметры, обычно называются бейесовыми критериями. Критерии минимума среднего риска, соответствующие функциям или функционалам потерь, зависящим от оператора не относятся к классу бейесовых критериев. Таким образом, все рассмотренные выше критерии, кроме критерия минимума потери информации, являются бейесовыми критериями.

К сожалению, вопрос о выборе критерия оптимума, который, очевидно, сводится к выбору функции потерь не всегда может быть практически решен на основе анализа назначения и условий работы проектируемой системы. Решение этого вопроса в значительной мере определяется имеющимися в нашем распоряжении данными о вероятностных характеристиках сигнала и наблюдаемой случайной функции. Очевидно, что для определения оптимальной системы по критерию (119.10) при произвольной функции потерь необходимо полное знание закона распределения сигнала и наблюдаемой случайной функции. Только для некоторых частных видов функции потерь задача определения оптимальной системы может быть решена на основе неполного знания закона распределения случайных функций Так, например, как мы увидим в §§ 122 и 123, для определения оптимальной линейной системы по критерию минимума средней квадратической ошибки или по более общим критериям (119.3) и (119.6) достаточно знать математические ожидания случайных функций корреляционную функцию случайной функции и взаимную корреляционную функцию случайных функций С другой стороны, если известны только математические ожидания и корреляционные функции случайных функций и нет никаких других данных об их законе распределения, то нет никакого смысла искать оптимальную систему среди нелинейных систем. Действительно, при данных математических ожиданиях и корреляционных функциях случайные функции могут иметь самые разнообразные законы распределения и, в частности, могут быть распределены нормально. А при нормальном распределении случайных функций как мы увидим в §§ 140, 143 и 145, оптимальной системой в классе всех возможных систем по отношению к любому критерию вида (119.10), соответствующему функции потерь представляющей собой функцию модуля ошибки, является некоторая линейная система. А так

как нормальный закон распределения вследствие его широкого распространения во многих случаях может считаться наиболее вероятным, то оптимальная линейная система будет наиболее вероятной оптимальной системой в классе всех возможных систем.

Если известен только условный закон распределения наблюдаемой случайной функции относительного сигнала а закон распределения сигнала неизвестен, то оптимальную систему можно искать по критерию минимума максимального возможного значения условного риска

т. е. наибольшего из значений условного риска, соответствующих всем возможным реализациям сигнала Этот критерий, называемый обычно минимаксным, обеспечивает наилучшую работу системы в наихудших возможных условиях. Вследствие этого он особенно подходит для расчета систем, работающих в условиях организованного противодействия, которое осуществляется путем выбора реализации сигнала, обеспечивающего наихудшую точность решения задачи. В случае, когда закон распределения сигнала неизвестен или даже вообще не существует, минимаксный критерий часто оказывается целесообразным потому, что в этом случае неизвестно, насколько часто могут встречаться сигналы, при которых точность системы близка к наихудшей, а минимаксный критерий обеспечивает наименьшую возможную потерю точности именно для таких сигналов.

Начало развитию современной теории оптимальных систем было положено работами А. Н. Колмогорова [30, 31], в которых была поставлена и решена задача интерполяции и экстраполяции стационарных случайных последовательностей по критерию минимума средней квадратической ошибки. В дальнейшем теория А. Н. Колмогорова была распространена на непрерывные стационарные случайные процессы и применена к некоторым задачам теории автоматического управления Винером [108]. Работа Винера послужила началом большого количества работ, в которых теория оптимальных систем получила дальнейшее развитие и превратилась в мощный инструмент, позволяющий эффективно решать большое количество разнообразных практических задач [84, 87, 88, 111 —113, 52, 54—56, 61—63, 70, 2—4, 96—101, 38].