9.8. РАНДОМИЗИРОВАННОЕ ПРАВИЛО ДЛЯ ДИСКРЕТНОГО МНОЖЕСТВА РЕШЕНИЙ

Недостатки рассмотренных выше приемов преодоления трудностей, связанных с недифференцируемостью функции потерь в случае дискретного множества решений, говорят о целесообразности разборки нового метода, свободного от этих недостатков и обеспечивающего возможность применения рекуррентной процедуры. Для того чтобы прийти к такому методу, следует вернуться к первоначальной постановке задачи статистического решения и вспомнить, что в общем случае правило решения является рандомизированным. При этом, если множество решений дискретно и содержит конечное число возможных решений то правило решения полностью определяется заданием функций каждая из которых задает вероятность принять решение если наблюдается данное значение х. (Выбор решения после наблюдения х производится с почошыо вспомогательного случайного механизма с вероятностями исходэл Функции подчинены ограничениям

последнее из которых означает, что на самом деле достаточно задать любые из них.

Средний риск рандомизированного решающего правила для некоторой функции потерь равен

или в случае, когда параметр также имеет дискретное множество значений

где

В байесовом случае при известных минимум среднего риска достигается на функциях принимающих значения только нуль и единица, т. е. правило решения получается нерандомизированным. Очевидно, что любую такую разрывную функцию

где - множество значений х, на котором и при попадании

в которое наблюдаемого значения х принимается решение можно с заданной точностью аппроксимировать непрерывной функцией со значениями, заключенными в интервале (0,1). Так, правило решения (9.7.14) для двухальтернативного примера § 9.7 соответствует следующим функциям:

Вместо этих функций можно ввести простую аппроксимацию непрерывными функциями

которые удовлетворяют всем требованиям (9.8.1), при переходят в (9.8.5) и дают нерандомизированное байесово правило решения, а при конечном, но достаточно большом значении с заданной точностью аппроксимируют правило решения, задаваемое решающими функциями из (9.8.5).

Далее, если обратиться к общему случаю двухальтернативной задачи, для которой оптимальное байесово правило решения определяется разделяющей функцией такой, что или на множестве значений где или на множестве значении где то оптимальное нерандомизированное байесово правило решения также может быть аппроксимировано правилом с непрерывными решающими функциями:

причем выбором значения эту аппроксимацию можно сделать как угодно точной. Разумеется также, что вместо экспоненциальной аппроксимации (9.8.6), (9.8.7) можно использовать любую подходящую функциональную зависимость с непрерывным изменением значений функции в интервале (0,1) и допускающую предельный переход к ступенчатой функции, например арктангенс, интеграл вероятности и вообще любую функцию распределения Вероятности и т. д.

При наличии полной априорной информации, когда можно получить строго байесово правило решения, нет нужды использовать подобную аппроксимацию Иное дело в случае отсутствия априорных сведении о распределениях вероятности, когда имеются только эмпирические данные о х и Определим для этого случая правило решения системой функций

которые зависят от векторного параметра с, удовлетворяют ограничениям (9.8.1) при любых непрерывно изменяются в интервале (0,1) и дважды дифференцируемы по с. При этом любая из функций при некоторых значениях параметров с, принадлежащих подмножеству множества значении с, может принимать как функция х только значения нуль и единица, т. е. для

где множества зависят от значения Это условие означает, что совокупность функций содержит в себе и нерандомизированные случайные правила.

Простейшим примером задания системы (9.8.8) является задание разделяющей функции для двухальтернативной задачи зависящей от совокупности неизвестных параметров с (так же, как и в § 9.7), и использование функций (9.8.7), т. е.

В этом примере подмножества определены значениями а с произвольно.

Определим для правила решения (9.8.8) средний риск, который будет зависеть от с:

где введено обозначение для значения произвольной заданной функции потерь при Оценкой неизвестного при отсутствии необходимых априорных данных среднего риска является эмпирическое среднее

Это выражение является обобщением выражения (9.2.11) для дискретного множества решении на случай произвольного рандомизированного правила решения, определенного системой (9.8.8).

Из этого выражения следует, что при переходе к рандомизированным правилам решения, несмотря на недифференцируемость функции потерь для исходной задачи, проблемы недифференцируемости при отыскании наилучшего правила решения просто не существует, поскольку неизвестные параметры, подлежащие оптимизации, входят только непосредственно в решающие функции а не в функцию потерь. При эгом нет никакой необходимости в подмене исходной функции потерь (а следовательно, и содержания исходной задачи) и не нужно вводить новые (и подчас спорные) понятия аппроксимации градиента недифференцируемой функции.

Для отыскания наилучшего значения параметров минимизирующего величину оценки среднего риска и сходящегося при к значению с, минимизирующему величину самого среднею риска можно применить конечные либо итеративные методы или рекуррентную процедуру, совершенно аналогичную (9.7 2) для

случая дифференцируемой функции потерь Соответствующие рекуррентные соотношения имеют вид

Как и в предыдущих случаях, вместо матрицы определяемой вторым из соотношений (9 8 12), мохою использовать произвольную весовую матрицу, обеспечивающую условия сходимости к с. В отношении последних сохраняет силу все сказанное ранее при обсуждении аналогичных рекуррентных соотношений

Подставляя в (9 8 8) найденное с помощью рекуррентной процедуры (9 8 12) значение получаем правило решения, которое при сходится к наилучшему из заданного класса (9 8 8) правилу решения, минимизирующему средний риск для функции потерь При этом, если класс (9 8 8) содержит в себе нерандомизированные правила решения и минимум среднего риска (9 8 10) достигает на одном из них (заметим, что в отличие от общего байесова случая с произвольными решающими функциями это, вообще говоря, не обязательно), то правило решения, заданное функциями (9 8 8) при подстановке в них значения минимизирующего оценку среднего риска (9 8 11), сходится при к згому нерандомизированному правилу решения

"В заключение приведем пример дяухальгернативнок задачи В этом случае согласно (9 8.1)

Считая, кроме того, что функция потерь не зависит от х и I имеет дискретное множество значении, соответствующее двум возможным истинным ситуациям имеем

при Тогда рекуррентные соотношения (9 8.12) принимают вид

Из них видно, что градиент решающей функции берется с коэффициентом, величина которого определяется заданной матрицей потерь и равна если если При типичном выборе матрицы потерь, когда потери от правильного решения меньше потерь от неправильного решения, первая из этих величин отрицательна, а вторая положительна Это означает,

что при величина получает приращение того же знака, что и градиент а при противоположного

В частном случае, когда одномерная случайная величина и известно, что отношение правдоподобия является монотонно неубывающей функцией х, в качестве целесообразно выбрать функцию из (9.8.6), которая обеспечивает сходимость к абсолютно оптимальному байесову правилу решения. Вводя в (9.8.6) обозначение имеем

При подстановке этих выражений в (9.8.13) получаем окончательный вид рекуррентных соотношений для определения наилучших значений

Рассмотренный случай является простейшим примером отыскания разделяющей функции которая в данном случае задается линейной по т. е. Очевидно, что совершенно тривиален переход к многомерному случаю, когда вектор размерности

При этом параметр с, также следует считать векторным той же размерности и заменить в приведенных выше формулах произведение на на на Если от линейной разделяющей функции перейти к более общему ее виду (9.7.7), то в тех же формулах нужно заменить на вектор на вектор а матрицу

на матрицу Наконец, если вместо экспоненциальной функции

зависящей от аргумента или используется любая другая функция с нужными свойствами, т. е. функция, которая при изменении у от до непрерывно изменяется от 0 до 1, принимает при (на границе разделения, где значение 1/2 и допускает предельный переход к ступенчатой функции со скачком при то приведенные выше формулы принимают вид

где штрихами обозначены производные по аргументу.