3.3. Подходы к определению понятия оптимальности в условиях априорной неопределенности

Как уже отмечалось, каждой паре распределений  из класса возможных пар  соответствует, вообще говоря, свое оптимальное решающее правило. При этом неизвестно, какая именно пара  имеет место в действительности в момент принятия решения. Это обстоятельство требует разработки дополнения понятия оптимальности применительно к случаю априорной неопределенности, т. е. установления некоторого порядка предпочтения в множестве решающих правил, учитывающего особенности класса . Рассмотрим некоторые подходы к определению оптимальности решения в этих новых условиях.

Пусть  – множество всех решающих правил. Для каждого  оптимальное, т. е. байесово, решение  определяется из условия минимума среднего риска:

.                             (3.3)

Представим эту зависимость решения  от  в виде условного графика (рис. 3.1), где по оси абсцисс откладывается , а по оси ординат – соответствующие . Множество всех , , составляет некоторое подмножество правил , из которых и следует выбирать окончательное решающее правило.

Рис. 3.1.

Равномерно наилучшее решение

Иногда (как в примере 1 из п.3.2) при всех  байесово решение – одно и то же, т. е.  (рис. 3.2). Тогда это решение является равномерно наилучшим, оно абсолютно оптимально, априорная неопределенность несущественна. Решение  может быть найдено с помощью обычного байесова подхода при произвольном .

Рис. 3.2.

Отметим, что если ввести произвольную меру на  (не обязательно вероятностную), проинтегрировать средний риск по этой мере:

                                             (3.4)

и найти правило , минимизирующее этот функционал, то при существовании равномерно наилучшего решения  окажется, что . Это означает, что в рассматриваемом случае можно произвольным образом усреднять средний риск. Такое усреднение может существенно упростить поиск решения, так как усредненный риск (3.4) уже не зависит от .

К сожалению, равномерно наилучшие правила в реальных задачах встречаются редко. Чаще может встретиться ситуация, когда разброс значений среднего риска  относительно невелик при всех  и . Тогда можно получить приблизительно равномерно наилучшее решение, взяв , при котором  принимает значения, по возможности наиболее близкие к среднему из значений .

Принцип минимума усредненного риска

Рассмотрим (3.4) при некоторой мере  на  и введем принцип предпочтения решений по минимуму усредненного среднего риска:

.                    (3.5)

Неоднозначность выбора решений  будет связана только с неоднозначностью выбора меры усреднения . Этой мере может быть дана различная трактовка.

Во-первых, может рассматриваться как некоторое априорное распределение вероятностей на . Например, можно взять равномерное распределение, если есть основания считать  равновозможными. Отметим, что при задании вероятностной меры  задача становится чисто байесовской, так как становится возможным определить распределение на  и :

.                              (3.6)

Таким образом, в чистом виде этот случай соответствует полной определенности описания  и , поэтому неинтересен. Более интересен случай, когда мера  известна приближенно.

Во-вторых, можно рассматривать как меру, характеризующую значимость последствий от принятия решений в условиях .

Принципы минимакса (крайнего пессимизма),

крайнего и умеренного оптимизма

Если не существует точного или приближенного равномерного наилучшего решения, то одним из возможных принципов предпочтения является принцип минимакса: выбирается правило , при котором

.                         (3.7)

проиллюстрируем этот принцип рис. 3.3, на котором приведены графики зависимости среднего риска от для различных .

Максимальные значения  по для каждого  отмечены кружками, минимальные – квадратами, а средние арифметические максимума и минимума – звездочками. Принципу минимакса (3.7) на рис. 3.3 удовлетворяет решение . Это правило при любой ситуации p обеспечивает средние потери, не превышающие R(u4(z),p1), где p1 – точка максимума функции R(u4(z),p) по p. Любое другое решение при некоторых p может привести к большим потерям, хотя и при других p – к меньшим.

Рис. 3.3.

Таким образом, принцип минимакса обеспечивает минимальные средние потери в наихудшей из возможных ситуаций. Поэтому этот принцип называется принципом крайнего пессимизма, поскольку предполагается, что случится самая плохая из возможных ситуаций.

Возможен и другой крайний подход к определению понятия предпочтения решений – принцип крайнего оптимизма. А именно, будем предполагать, что случится наиболее благоприятная из возможных ситуаций. Тогда выбирается правило , при котором

.                                (3.8)

На рис. 3.3 этому принципу соответствует правило  um(z) = u3(z).

Между этими крайностями располагается принцип умеренного оптимизма-пессимизма, исходящий из предпосылки, что обычно случается что-то среднее между наилучшим и наихудшим вариантами. Правило u(z) = us(z) выбирается из условия

               (3.9)

где a – константа между 0 и 1. При a = 0 правило (3.9) превращается в (3.7), а при a = 1 – в (3.8). При a = 0.5 в (3.9) будут использоваться средние арифметические максимумов и минимумов  средних потерь. На рис. 3.3 эти значения отмечены крестиками, и для этого примера будет выбрано us(z) = u4(z).

Принцип асимптотической оптимальности

В практических задачах с априорной неопределенностью часто имеется большой объем наблюдений, которые в случае полного описания могут быть даже избыточны для решения данной задачи. Но в условиях априорной неопределенности эти избыточные данные могут оказаться полезными.

Пример 3. Рассмотрим задачу двухальтернативного решения при u = 0 или u = 1; = 0 или  = 1; P(=0) = P(=1) = 0.5; g(0,0) = g(1,1) = 0, g(0,1) = g(1,0) = 1; наблюдение z = (z1, z2,….zn, zn+1) есть совокупность независимых СВ с ПРВ

,   ,              (3.10)

где a – параметр ПРВ величин z1,…..,zn. Таким образом, P1(t) известна полностью, а P0(t/a) – с точностью до параметра a. Неизвестность a и составляет априорную неопределенность. Этот пример можно трактовать как задачу обнаружения сигнала (=1 и u=1), который может проявиться только в последнем наблюдении zn+1. Если сигнал есть, то zn+1 имеет ПРВ P1(zn+1), если же его нет, то ПРВ zn+1 (как и всех остальных наблюдений) есть P0(zi|a).

Если бы параметр a был известен (априорной неопределенности нет), то оптимальное решающее правило имело бы вид

                               (3.11)

Это правило зависит только от последнего наблюдения zn+1, а все остальные данные  z1,….., zn избыточны, их могло бы и не быть вообще.

Если же a неизвестно, то данные z1,….., zn можно попытаться использовать для уменьшения априорной неопределенности. Более того, возможно, что с ростом количества этих данных влияние априорной неопределенности будет уменьшаться (по крайней мере, не возрастать). Можно даже надеяться, что при увеличении количества и качества данных удастся получить столь же хорошее решение, как и при отсутствии априорной неопределенности.

Отсюда вытекает принцип асимптотической оптимальности: наиболее предпочтительным является такое правило u = u(z), для которого средний риск R(u(z),p) с увеличением объема данных z стремится к минимальному байесову риску  для всех  равномерно.

Однако может оказаться, что этот принцип не определяет решения однозначно, так как может быть целый ряд асимптотически оптимальных решений.