§ 14.17. Достаточные эксперименты

Рассмотрим снова оптимальную последовательную процедуру выбора экспериментов, указанную в § 14.16. В наиболее простом варианте этой оптимальной процедуры все наблюдений проводятся над одной и той же случайной величиной этом параграфе мы выясним, при каких условиях это бывает.

Теорема 1. Предположим, что существует случайная величина такая, что для любого распределения и всякой другой случайной величины

Тогда для любого априорного распределения последовательная процедура, минимизирующая среднюю конечную неопределенность состоит в проведении всех наблюдений над случайной величиной X.

Доказательство. Из неравенства (1) и рассуждений, приводящих к формуле (3) § 14.16, следует, что наблюдение надо всегда проводить над случайной величиной X независимо от того,

какие случайные величины наблюдались на предыдущих шагах и каковы были их значения. Поэтому при всех распределениях

Допустим, что мы можем доказать, что для всякого распределения и всякой другой случайной величины

Тогда из аналогичных рассуждений будет следовать, что наблюдение всегда надо проводить над случайной величиной Докажем справедливость соотношения (3).

При данном распределении обозначим через апостериорное распределение после проведения наблюдения над случайной величиной Тогда для каждой случайной величины выполняется соотношение

Для всякого распределения и всякой случайной величины определим аналогично как апостериорное распределение после проведения наблюдения над Ясно, что так как апостериорное распределение не меняется от порядка, в котором делаются наблюдения. Следовательно, имеем

Соотношения (4) и (5) вместе дают (3).

Рассмотрим теперь основное понятие теории экспериментов, в терминах которого и даются условия, при которых имеет место (1). Пусть случайные величины или эксперименты из класса со значениями в выборочных пространствах соответственно. Говорят, что эксперимент достаточен для эксперимента X, если на пространстве существует неотрицательная функция удовлетворяющая следующим трем условиям:

Каждая неотрицательная функция для которой выполняется условие (7), называется стохастическим преобразованием При всяком фиксированном значении функция является о. в. п. на Так как эта функция не содержит параметра случайную точку можно получить, согласно этой о. в. п., с помощью дополнительной рандомизации. Таким образом, смысл условия (6) заключается в том, что эксперимент У достаточен для X, если независимо от значения параметра наблюдение У и добавочная рандомизация делают возможным наблюдение случайной величины с тем же распределением, что и Условие существования интеграла (8) введено ради технических удобств. Все введенные понятия принадлежат Блекуэллу (1951, 1953).

Интуитивно понятно, что если эксперимент У достаточен для X, то статистику нет смысла проводить эксперимент X, когда можно наблюдать У, поскольку первый равносилен проведению эксперимента У с последующим случайным преобразованием, которое может разве лишь уменьшить информацию о значении

Приводимая ниже теорема формализует представление о том, что эксперимент У должен быть по крайней мере так же информативен, как и эксперимент Мы введем сначала некоторые удобные обозначения, которые понадобятся для доказательства теоремы и вспомогательной леммы.

Пусть А обозначает множество всех векторов таких, что Тогда множество состоящее из всех векторов содержится в А. Для любых векторов а положим Если то через а мы обозначаем вектор из определяемый равенством

Если то можно положить равным произвольному вектору из

Лемма 1. Пусть функция неопределенности, фиксированный вектор и функция определена на множестве А соотношением

Тогда вогнутая функция на А.

Доказательство. Пусть — произвольные векторы, а положительные постоянные, такие, что Нам надо показать, что

Если либо либо то элементарные вычисления дают

где

Так как функция вогнута, из (12) и (13) видно, что

Таким образом, выполнено (11). Наконец, если то обе части (11) равны нулю.

Теорема 2. Предположим, что эксперимент достаточен для эксперимента Тогда для каждой функции неопределенности и произвольного распределения

Доказательство. Каждую неотрицательную функцию заданную на параметрическом пространстве можно рассматривать как вектор из множества А, если положить при Мы будем использовать это замечание при доказательстве, не оговаривая этого каждый раз.

Так как эксперимент достаточен для X, то найдется неотрицательная функция на произведении пространств для которой выполнены соотношения При всех определим функцию на равенством

Из формулы (10) и обычной формулы для апостериорного распределения можно вывести, что верно равенство

Согласно (6) и (16). это равенство можно записать в виде

Здесь мы воспользовались тем фактом, что для всех векторов и постоянных .

При каждом зададим о. в. п. на выборочном пространстве следующим образом:

Из (16) видно, что при Означение совпадает со средним значением функции если имеет о. в. п. из (19). Согласно лемме вогнутая функция на множестве А. Поэтому применение неравенства Йенсена для вогнутой функции от -мерного случайного вектора [см., например, Фергюсон (1967), стр. 76] дает

Из (18) -(20) получаем теперь

Наконец, меняя порядок интегрирования в (21) и используя (7), приходим к соотношению

Равенство в (22) — это просто формула (17), записанная для эксперимента

Нужный нам результат о том, что проведение достаточного эксперимента раз подряд является оптимальной процедурой, немедленно следует из теорем 1 и 2.

Следствие 1. Предположим, что существует случайная величина достаточная для всех других случайных величин Тогда для любой функции неопределенности всякого априорного распределения и каждого натурального числа последовательная процедура, минимизирующая среднюю конечную неопределенность предписывает проводить все наблюдений над случайной величиной