§ 8.4. Вогнутость байесовского риска

Мы покажем здесь, что в любой задаче решения байесовский риск является вогнутой функцией от распределения параметра В этой главе, так же как и в гл. 7, для любых двух распределений случайной величины и для всякого числа через обозначается распределение, приписывающее событию вероятность Итак, наша цель доказать следующую теорему.

Теорема 1. Для любых распределений и параметра и для любого числа а, такого, что

Доказательство. Согласно определению риска (формула (4) § 8.1), имеем для всех решений

Поэтому

Поскольку точная нижняя грань суммы двух функций не меньше суммы их точных нижних граней, из (3) следует, что

Рис. 8.1. Строго вогнутый байесовский риск.

Рис. 8.2. Байесовский риск в случае, когда пространство конечное

Из формул (2) и (3) видно, что вогнутая функция является точной нижней гранью семейства линейных функций отвечающих различным решениям из пространства Это утверждение можно проиллюстрировать на примере задачи, в которой

параметр принимает ровно два значения: В этом случае распределение задается одним числом

На рис. 8.1 изображен график байесовского риска для случая, когда пространство решений содержит бесконечное число точек и ни одно решение из не является байесовским при двух различных значениях . В такой задаче байесовский риск является строго вогнутой функцией на интервале

На рис. 8.2 изображен график байесовского риска в случае, когда пространство решений состоит лишь из конечного числа точек. В таких задачах байесовский риск является вогнутой, но не строго вогнутой функцией на интервале

Рис. 8.3. Приращение байесовского риска.

Следствия неправильного выбора распределения параметра.

Предыдущие рассуждения и рис. 8.1 выявляют еще одно интересное свойство байесовских решений и байесовского риска. Предположим, что статистик принял решение являющееся байесовским при некотором значении вероятности в то время как истинным значением является некоторое другое значение Обозначим через разность между риском которому статистик подвергается в действительности, и риском который отвечал бы байесовскому решению при

Это приращение риска показано на рис. 8.3. Прямая касательна к вогнутой кривой в точке Более точно, эта прямая является опорной для этой кривой в указанной точке. Поэтому, если кривая Достаточно гладка в некоторой окрестности точки содержащей точку то мало. Это свойство показывает, что эффективность байесовского решения, вообще говоря, относительно

нечувствительна к малым изменениям вероятностного распределения параметра.

Если функция кусочно линейна, как на рис. 8.2, то значение равно 0, если содержатся в интервале линейности функции Если, однако, у функции имеется излом между то значение относительно велико.

Указанные свойства сохраняются для весьма широкого класса задач решения, с более общим параметрическим пространством и более богатым множеством распределений параметра, но мы не будем рассматривать этот вопрос далее.