2.7. Априорная неопределенность и способы неполного статистического описания

Реализация байесова подхода в идеальном виде требует достаточно полного статистического описания наблюдений Z и скрытых параметров q, позволяющего однозначно определить распределения p(q) и P(z|q), которые требуются для нахождения ожидаемой величины потерь (апостериорного риска) при решении u.

В действительности столь полное описание имеется далеко не всегда. Чаще всего имеется некоторая априорная неопределенность, т. е. неполнота описания. Обычно относительно Z и q имеется какая-то информация, которая  не позволяет считать поставленную задачу совсем бессмысленной, но в то же время не дает возможности воспользоваться байесовым подходом в идеальном виде.

Рассмотрим несколько возможных способов неполного статистического описания.

Неполное описание распределения скрытых параметров

Случай А1. Крайний случай, когда относительно q ничего не известно, кроме области  допустимых значений. В этом случае априорное распределение  вообще неизвестно – это может быть любая неотрицательная функция с единственным условием. В таких условиях и приходится решать задачу синтеза решающего правила.

Случай А2. О распределении ничего не известно, но компоненты векторного параметра q = (q1,…, qn) связаны функциональными ограничениями F1(q1,…, qn) = 0, … , Fk(q1,…, qn) = 0, следующими из особенностей решаемой задачи. Используя эти ограничения, компоненты qi можно привести к виду q1 = f1(a), … , qn = fn(a), т. е. q = q(a), где a = (a1,…, am) – векторный параметр, размерность m которого меньше, чем размерность n параметра q. В результате для статистического описания q достаточно задать распределение  на пространстве меньшей размерности, что предпочтительнее.

Случай А3. Распределение параметров q неизвестно, но известны некоторые его статистические характеристики, например, математические ожидания, дисперсии, ковариации и т. п. Тогда о  известно не только, что , но и что , k=1,2,…,K, где fk(q) – некоторые функции. Например, если известна ковариационная матрица R=(rij) параметров q, то (при нулевых средних) . Подобные данные, естественно, сужают класс возможных распределений , т. е. уменьшают априорную неопределенность.

Случай А4. Заданы распределения вероятностей низшего порядка, например, маргинальные pi(qi), i=1,…,n,  или условные  pi(qi|qi-1), i=2,…,n.

Отметим, что описание становится полным, если в первом случае компоненты независимы (тогда p(q1,…, qn) = p1(q1) p2(q2)…..pn(qn)), а во втором – марковские (тогда p(q1,…, qn) = p1(q1) p2(q2|q1) p3(q3|q2)….. pn(qn|qn-1)).

Случай А5. Могут быть априорные сведения качественного характера, например, что компоненты q независимы и одинаково распределены (тогда p(q1,…, qn)=p0(q1)..…p0(qn), где p0(*) – неизвестное распределение).

Случай А6. Известен тип распределения параметров q, например, что они гауссовские, тогда

, где средние значения   и ковариационная матрица R  неизвестны.

Общей чертой всех рассмотренных примеров является то, что в условиях априорной неопределенности вместо единственного распределения  параметров q можно задать только класс P0 таких распределений.

Таким образом, исходным описанием параметров q  в случае априорной неопределенности является задание класса P0 возможных распределений  параметров q.

Чем шире класс P0, тем больше априорная неопределенность. В чисто байесовском случае P0 состоит из единственного элемента . В другом крайнем случае (А1)  P0 – класс всех возможных распределений на . Все остальные случаи – промежуточные между этими двумя крайними.

Неполное описание наблюдений

Описание априорной неопределенности наблюдений Z аналогично описанию априорной неопределенности параметров q. А именно, имеется целый класс  функций правдоподобия p(z|q).

В чисто байесовском случае  состоит из единственного элемента p(z|q). В другом крайнем случае, когда ничего не известно (подобно случаю А1),  состоит из всех неотрицательных функций p(z|q), удовлетворяющих условию  при всех q.

Параметрическая априорная неопределенность

Параметрический способ является довольно общим и удобным для описания априорной неопределенности. Рассмотрим несколько примеров.

Пример С1. Пусть параметр q дискретен и может принимать значения q=ai, i=1,2,…,n, с вероятностями p(q=ai)=pi. Если распределение q неизвестно вообще, то в качестве неизвестных параметров, описывающих это распределение, можно взять сами вероятности с очевидными ограничениями pi³0 и Spi=1, т. е. имеется n-1 неизвестных независимых параметров. Если же известно, например, математическое ожидание , то добавляется еще одно ограничение , а количество независимых параметров уменьшается еще на единицу.

Пример С2. Пусть q=(q1,…, qn) – последовательность, описывающая, например, случайный процесс, подлежащий фильтрации. При этом известно, что это авторегрессионный процесс, описываемый уравнением , где  – независимые стандартные гауссовские СВ, а  и  неизвестны. Тогда

и

 –

распределение, зависящее от двух неизвестных параметров   и .  Аналогичным образом можно записать распределение q=(qij: i=1,2,…,m, j=1,2,…,n), когда q  – И размеров , заданное моделью Хабиби с неизвестными значениями  ,  и  .

В общем случае параметрическую неопределенность описания параметров q  можно представить в виде

,                                            (2.48)

где  – совокупность неизвестных параметров.

Пример С3. Пусть совокупность наблюдений z=(z1,…,zn) представляет последовательность независимых нормальных компонент с неизвестной дисперсией  и математическими ожиданиями , известным образом зависящими от q. Тогда ФП будет

 ,      (2.49)

которая содержит один неизвестный параметр .

В общем случае параметрическую неопределенность описания наблюдений можно представить в виде

,                                           (2.50)

где a – совокупность неизвестных параметров.

Пример С4. Рассмотрим частный случай примера С3. Пусть q может принимать два значения: q=0 и q=1;   и    ,  где  si – известные величины и  a – неизвестный коэффициент.

Этот пример можно трактовать как задачу обнаружения сигнала известной формы s=(s1,…,sn), но неизвестной интенсивности a на фоне некоррелированного шума неизвестной интенсивности (дисперсии) .

В этом случае (2.49) принимает вид

, ,

причем при q=0 ФП зависит от одного параметра , а при q=1 – от двух параметров  и a, но общий вид (2.50) сохраняется, если взять .

Априорная неопределенность задания функции потерь

Функция потерь g(u,q,z) также может в отдельных задачах иметь неполное описание. Это в особенности касается сферы бизнеса, политики и т. п., когда неясно, к каким последствиям может привести то или иное решение.

В рассматриваемых нами задачах обработки И обычно удается подобрать функцию потерь, соответствующюю понятию оптимальности решения задачи. Поэтому мы будем практически всегда считать, что функция потерь определена.

Отметим, тем не менее, что априорная неопределенность задания функции потерь может быть описана стандартным способом – указанием класса G возможных функций потерь, в том числе, параметрического класса таких функций.