§ 12.13 Приближения и границы для байесовского риска

Определим как класс всех вещественных функций у на множестве 2, таких, что для всякого распределения Из наших предположений следует существование среднего для каждой функции и каждого распределения

Зададим для любой функции последовательность функций следующим рекуррентным соотношением: при

Так как из (1) видно, что для . В следующей теореме устанавливается важный результат,

согласно которому в стабильной, задаче решения последовательность порождаемая произвольной функцией сходится к байесовскому риску

Теорема 1. Пусть для произвольной функции в стабильной задаче решения последовательность функций определена соотношением (1). Тогда для каждого распределения

Доказательство. Пусть натуральные числа. Из соотношения (1) и вычислений, аналогичных тем, которые привели к формуле (5) § 12.12, вытекает, что для всякого распределения выполнено неравенство

Повторяя эти рассуждения применительно к правой части соотношения (3) подобно тому, как мы это делали в § 12.12 для формул (6) и (7), приходим к следующему неравенству, справедливому при всех распределениях

Так как при то правая часть соотношения (4) не может превосходить Далее, в силу стабильности нашей задачи из соотношения (2) § 12.12 видно, что правая часть (4) стремится к 0. Таким образом, при любых из (4) следует, что для всех достаточно больших и всех

Это неравенство показывает, что для всякого распределения последовательность сходится к некоторому пределу Если теперь в обеих частях соотношения (1) положить то по теореме Лебега о сходимости (см. § 10.6) получаем

Из (1) и (6) видно, что является решением уравнения (4) § 12.12 и, значит, в силу теоремы 1 § 12.12

Из приводимой ниже теоремы следует монотонная сходимость последовательности к байесовскому риску в широком классе задач.

Теорема 2. Предположим, что для функции последовательность определена соотношением (1). Тогда верны следующие утверждения:

1. Если для каждого распределения то при и всех

2. Если для каждого распределения то при и всех

3. Если для каждого распределения то и всех

4. Если для каждого распределения то и всех

Доказательство. Для доказательства утверждения 1 применим метод индукции. Предположим, что при всех и некотором неотрицательном целом Тогда из (1) видно, что имеет место соотношение

Остальные три утверждения доказываются аналогично.

Если в качестве выбрать то из соотношения (1) и формулы (6) § 12.5 следует, что при и мы знаем, что для этой последовательности выполнены неравенства

Аналогично если предположить, что для всякого распределения то при всех распределениях Следовательно, по теореме 2 последовательность порождаемая выбранной таким образом функцией удовлетворяет соотношениям

Далее, если задача решения стабильна, то в силу теоремы 1 последовательность как в (8), так и в (9) сходится к Однако в конкретных ситуациях при произвольном выборе расчет значений при больших 2 или 3, как правило, весьма затруднителен, так что для получения численных данных приходится прибегать к вычислительным машинам.

Другие функциональные уравнения. Покажем теперь, как можно получать приближения и границы для байесовского риска с помощью функциональных уравнений, близких к уравнениям (1) и (4) § 12.12, но отличающихся от них. Пусть — некоторая функция из Рассмотрим новую задачу последовательного решения, в которой риск заменен на . В этой новой задаче цена каждого наблюдения по-прежнему равна с, но риск от принятия решения без дальнейших наблюдений, в случае когда

апостериорное распределение параметра есть предполагается равным Так как Для каждого распределения то почти все рассуждения этой главы, касающиеся вопросов существования и свойств оптимальной процедуры последовательного решения, применимы и в этой задаче. В частности, из предположения о стабильности исходной задачи в силу соотношения (2) § 12.12 вытекает и стабильность новой задачи решения. Следовательно, по теореме 1 § 12.12 байесовский риск 7 в новой задаче является единственной неотрицательной функцией, удовлетворяющей при всех распределениях такому функциональному уравнению:

Так как риск связанный с окончанием выбора в новой задаче решения, не превосходит риска от окончания выбора в исходной задаче, то для всех распределений должно выполняться соотношение

Рассмотрим теперь задачу решения, в которой риск заменен на Тогда, как мы уже видели, байесовский риск новой задачи будет единственным решением функционального уравнения

Из соотношения (1) § 12.12, однако, вытекает, что с при всех Следовательно, является единственным решением уравнения (12). Другими словами, если риск от окончания наблюдений в исходной задаче заменить на риск от оптимального продолжения, то в новой задаче байесовским риском будет байесовский риск старой задачи. В новой задаче наблюдений вообще проводить не стоит, так как байесовский риск может быть получен при немедленном решении.

Наконец, пусть выбрано так, что для каждого распределения а

Тогда байесовский риск в задаче с функцией замененной на должен быть не меньше байесовского риска задачи, где вместо фигурирует Так как обратное неравенство уже было доказано (см. (11)), то мы установили следующую теорему.

Теорема 3. Предположим, что в стабильной задаче решения функция удовлетворяет условию (13). Если — байесовский риск новой задачи решения, где функция заменена на , то при всех распределениях или, что то же самое, единственное неотрицательное решение уравнения (10).

Дальнейшие замечания и ссылки на литературу. Отысканию границ для оптимальной процедуры последовательного решения и ее риска посвящены работы Хёфдинга (1960), Эмстера (1963), Вейсса (1964), Рэя (1965), Григелиониса и Ширяева (1965) и Прэтта (1966).