2.4. БАЙЕСОВЫ РЕШАЮЩИЕ ПРАВИЛА

В том счастливом случае, когда статистическое описание наблюдаемых данных х и параметров X является полным, т. е. известны принципиально задача нахождения оптимального решающего правила достаточно проста. Само оптимальное в этих условиях правило решения называется байесовым. Из выражения для среднего риска в форме (2.3.8) и в силу неотрицательности следует, что минимум среднего риска по достигается в том случае, если при всяком х интеграл

минимален. В силу линейности этого выражения относительно его минимум достигается для вероятностной меры целиком сосредоточенной в той точке в которой имеет место минимум апостериорного риска При этом следовательно, байесово правило решения является нерандомизированным.

Таким образом, задача минимизации среднего риска на множестве возможных правил принятия решения (или в нерандомизированном случае сводится к существенно более простой задаче минимизации функции на множестве решений В частности, если множество решений конечномерно, — вектор конечной размерности, то отыскание оптимального байесова правила решения сводится к нахождению минимума функции переменных, задаваемой выражением (2.3 7), при всевозможных значениях х, а сам выбор решения заключается в нахождении значения и, минимизирующего апостериорный риск при данном значении х.

Байесово правило принятия решения (иногда для краткости будем называть его просто байесовым решением) в соответствии со сказанным выше определяется из соотношения

для минимума апостериорного риска или эквивалентного ему соотношения

которое отличается от (2.4.1) только умножением на Минимальный средний риск

называется байесовым риском, а само байесово решающее правило является наилучшим в смысле обеспечения минимума средних потерь.

Большая ценность байесова подхода, помимо полной методологической завершенности, заключается также в возможности отыскания общей структуры оптимальных правил решения, охватывающей большие классы задач, различающиеся заданием функции потерь, видом функций правдоподобия и априорных распределений вероятности для параметров Приведем два примера, иллюстрирующих эту общность.

а. Многоальтернативные решения. Пусть решение и заключается в выборе одной из альтернатив которой может соответствовать одна из альтернативных ситуаций Как отмечалось выше, этому примеру соответствует громадный круг задач проверки статистических гипотез, обнаружения и различения сигналов, распознавания образов и т. п. Полагая для простоты, что функция потерь не зависит от х и

- некоторая матрица потерь размером имеем

где апостериорная вероятность ситуации. Из (2.4.4) следует, что оптимум для многоальтернативной задачи заключается в выборе того решения для которого линейная комбинация апостериорных вероятностей альтернативных ситуаций минимальна. Поскольку

где - плотность распределения для наблюдаемых данных в ситуации; -априорная вероятность этой ситуации, то

где Это означает, что решение выбирается путем сравнения линейных комбинаций функций правдоподобия которые и являются определяющим элементом данной задачи. Значения же функции потерь и априорные вероятности определяют только весовые коэффициенты этих комбинаций которые обычно относительно слабо влияют на выбор оптимального решения и могут быть взяты произвольно.

Следует особо подчеркнуть принципиальное значение этого обстоятельства с точки зрения практических применений теории статистических решений. Дело в том, что производя наблюдения и получая новую информацию х, мы вправе рассчитывать, что именно вновь полученные данные являются определяющими с точки зрения выбора правильного решения. В этом, собственно говоря, и заключается цель наблюдения, направленного на получение новой информации, которая должна принести нам существенную пользу при выборе решения. Если это так, то правдоподобие различных ситуаций, измеряемое при данном х значениями величин должно быть резко различным — велико для той ситуации которая имеет место в действительности, и мало для всех остальных. Причем это различие между большими и малыми значениями должно быть существенно больше, чем различие в весовых коэффициентах, определяемое матрицей Если это не так и различие весовых коэффициентов имеет определяющее значение с точки зрения выбора минимальной линейной комбинации в (2.4.6) и оптимального решения, то вновь полученная информация х бесполезна или яочти бесполезна, а оптимальное решение конструируется фактически только на основе априорных данных о потерях и вероятностях ситуаций Такая ситуация тоже может иметь смысл, но она не характерна для систем получения и обработки информации, по сути предназначенных для получения и обработки такого объема данных х, который мог бы существенно повлиять на наши знания и улучшить решение по сравнению с решением, выбираемым только на основе априорных данных, без новых сведений, содержащихся в совокупности

Таким образом, как в рассматриваемой здесь задаче многоальтернативного решения, так и вообще в любых задачах обработки информации существует общая закономерность, связанная с прикладным характером и целевым назначением систем обработки информации: чем более высокими качествами должна обладать синтезируемая система, тем меньшее значение имеют априорные данные о характеристиках потерь и вероятностном поведении параметров k. Эта закономерность допускает некоторый произвол в задании указанных априорных характеристик и подчеркивает то значение, которое имеет статистическое описание наблюдаемых данных и их взаимосвязи с параметрами характеризующими истинные ситуации.

В заключение рассматриваемого примера заметим, что для класса двухальтернативных задач из (2.4.6) сразу следует оптимальное правило решения. Первое решение принимается, если

второе — при выполнении противоположного неравенства, т. е. оптимальное правило решения заключается в сравнении отношения правдоподобия с порогом С, зависящим от матрицы потерь и априорных вероятностей Тем самым оптимальное правило двухальтернативного решения определено в общем случае с точностью до одной константы.

б. Оценка параметров. Пусть решение и заключается в построении оценки векторного параметра закодированного в совокупности наблюдаемых данных Каждая из компонент имеет неограниченную область изменения. Этот случай охватывает, в частности, задачи линейной и нелинейной фильтрации и т. п. Пусть функция потерь симметрична относительно

векторной разности Пусть также апостериорная плотность вероятности симметрична, хотя бы приближенно, относительно некоторой точки которая зависит от х. При этих условиях из (2.4.1) следует, что оптимальное решение и — оценка неизвестного вектора к— определяется как

независимо от детального вида функции потерь, функции правдоподобия и априорного распределения вектора k.

Точка обладает тем свойством, что в ней достигается максимум апостериорной плотности вероятности что и дает достаточно универсальный способ нахождения оптимального решения, в данном случае оптимальной оценки векторного параметра, а именно отыскание максимума апостериорной плотности вероятности для оцениваемого параметра.

Как и в предыдущем примере, при достаточно высокой информативности данных наблюдения и отсутствии каких-либо специфичных ограничений на взаимосвязь отдельных компонент вектора к (например, наличия между ними функциональных зависимостей, приводящих к несобственным априорным распределениям сосредоточенным полностью на некоторых гиперповерхностях в пространстве параметров к) априорная статистика слабо влияет на структуру и вид оптимального решения. Действительно, уравнение для максимума апостериорной плотности вероятности

эквивалентно уравнению

которое может быть заменено более простым уравнением для приближенного определения оптимальной оценки содержащим только функцию правдоподобия

Такая замена допустима и приближение получается хорошим, если наблюдаемые данные содержат настолько много информации о значении вектора к, что его оптимальная оценка к имеет существенно меньшее отклонение от истинного значения к, чем априорный разброс, определяемый распределением с плотностью В этих условиях функция правдоподобия по сравнению с априорной плотностью является быстроменяющейся функцией к, принимающей большие значения в окрестности истинного значения действительно содержащегося в данных наблюдениях и малые значения во всей остальной области изменения k.

Благодаря этому как раз и можно перейти от (2.4.10) к уравнению (2.4.11), выражающему важнейший для синтеза оптимальных систем обработки информации принцип максимального правдоподобия.

Отличительной его особенностью является то, что для нахождения «оптимального» решения не требуется знать детальный вид функции потерь и априорное распределение вероятности для параметров k. Достаточно только иметь уверенность, что это распределение плавно изменяется в окрестности точки, соответствующей максимуму функции правдоподобия, и не содержит очень больших пиков в остальной части области изменения k. Конечно, решение, полученное на основе принципа максимального правдоподобия, не является строго оптимальным, но оно тем к истинно оптимальному решению, чем содержательнее данные наблюдения в указанном выше смысле и лучше качество строго оптимального решения.

Метод максимального правдоподобия может быть использован для решения существенно более широкого класса задач, чем рассмотренная здесь задача оценки. Например, для задачи а) многоальтернативного решения (при метод максимального правдоподобия приводит к разумному квазиоптимальному правилу: выбирается то решение для которого

Это правило решения строго оптимально, если в символ Кронекера), что соответствует, например, одинаковым потерям от любого неправильного решения, нулевым потерям при выборе правильного решения и одинаковым априорным вероятностям различных ситуаций Однако и в других случаях правило решения (2.4.12) являетсй достаточно хорошим в смысле близости к оптимальному и особенно тем, что не апеллирует к точному заданию функции потерь и априорных вероятностей.

Универсальность и большую практическую ценность метода максимального правдоподобия мы подробно оценим ниже при систематическом рассмотрении задач синтеза оптимальных систем обработки информации в условиях априорной неопределенности.