§ 14.16. Функции неопределенности и задачи статистического решения

Рассмотрим задачу статистического решения, характеризуемую параметром принимающим значения из параметрического пространства пространством решений и неотрицательной функцией потерь, заданной на произведении Также как и в предыдущих главах, будем обозначать через риск при априорном распределении равном от принятия статистиком наилучшего решения из т.е. байесовского решения относительно

Предположим, что перед выбором решения из статистик может получить информацию о значении параметра проведя наблюдений над доступными ему случайными величинами из некоторого класса. Выбор наблюдаемых случайных величин на каждом из шагов может быть проделан последовательно. Более точно, предположим, что задан класс случайных величин X, каждой из которых отвечает семейство о. в. п. , где при условии На каждом из шагов статистик выбирает случайную величину из класса и наблюдает ее значение. Как обычно, допустим, что результаты наблюдений независимы в следующем смысле. Пусть на некотором шаге наблюдается случайная величина Тогда независимо от выбора и результатов наблюдений на всех предыдущих шагах условная о. в. п. наблюдения на данном шаге при есть Далее, мы предположим, что статистик может проводить независимые (в указанном смысле) наблюдения и над одной и той же случайной величиной Таким образом, при желании статистик может провести все наблюдений над одной случайной величиной

Иначе говоря, можно считать, что каждая из случайных величин изображает эксперимент, доступный статистику, причем на разных шагах: может ставиться один и тот же эксперимент. Таким образом, слова «проведение эксперимента X» и «наблюдение случайной величины X» означают одно и то же.

Обозначим через случайную величину, выбранную из класса для наблюдения на шаге Для всякого априорного распределения параметра пусть обозначает апостериорное распределение в конце шага. Если задана некоторая последовательная процедура выбора случайных величин но значения этих величин еще не известны, то апостериорное распределение следует рассматривать как случайное распределение. Задача состоит в определении последовательной процедуры, минимизирующей средний конечный риск

Для простоты в этом и следующем параграфах мы предполагаем, что параметр может принимать только конечное число

значений, т. е. примем, что состоит, скажем, из к точек: Пусть S обозначает множество всех вероятностных распределений на Таким образом, S - это -мерный симплекс векторов таких, что

Из теоремы 1 § 8.4 мы знаем, что функция риска неотрицательна и вогнута на множестве Другими словами, для любых двух распределений и любой постоянной а (О а 1) выполняется неравенство

Ввиду того что в этом и следующем параграфах единственными свойствами которые будут использоваться, являются неотрицательность и вогнутость, мы расширим сферу действия наших результатов, приняв следующее определение. Всякую неотрицательную вогнутую функцию у, заданную на множестве S всех возможцых распределений будем называть функцией неопределенности. Рассматриваемая нами задача может быть теперь сформулирована следующим образом. Для произвольного априорного распределения параметра произвольного класса возможных наблюдений, произвольной функции неопределенности определенной на множестве и фиксированного числа наблюдений статистику надо найти процедуру, минимизирующую среднюю конечную неопределенность

В задачах с конкретными пространством решений и функцией потерь функция неопределенности есть просто риск . В некоторых других задачах, однако, статистик может просто непосредственно указать функцию неопределенности не входя в подробное описание задачи статистического решения. Удобным и часто используемым является выбор в качестве энтропии, определяемой для каждого распределения следующим образом:

Эта функция играет основную роль в математической теории информации и теории передачи сигналов [см. Шеннон и Уивер (1949) и Хинчин (1957)]. Другая важная функция неопределенности имеет такой вид:

Так как число шагов процесса фиксировано и конечно, то оптимальную процедуру можно получить с помощью метода индукции назад. Допустим, что после выбора случайных величин и наблюдения их значений апостериорное распределение параметра стало равным Тогда

будет апостериорным распределением после проведения всех наблюдений и оптимальный выбор последней случайной величины должен быть таким, чтобы

Положим и зададим функцию на множестве S так:

Тогда если апостериорное распределение для когда осталось провести ровно одно наблюдение, то минимально возможное значение средней конечной неопределенности.

Вообще, определим функции на S при помощи следующего рекуррентного соотношения:

Тогда если апостериорное распределение для когда остается провести наблюдений, то минимальное значение средней конечной неопределенности. В частности, если априорное распределение для то минимальное значение в классе всех последовательных процедур.

Согласно оптимальной процедуре, на первом шаге надо выбрать случайную величину для которой

На шаге, после наблюдения значений и вычисления апостериорного распределения согласно оптимальной процедуре, надо выбирать ту случайную величину 6 для которой

Хотя принципиально оптимальную последовательную процедуру и можно построить таким образом, но фактический расчет удается провести далеко не всегда. Несколько специальных задач такого типа рассмотрели Брэдт и Карлин (1956). Они построили примеры, в которых оптимальная процедура оказывается имеющей весьма сложный вид, несмотря на то, что исходные условия выглядят очень простыми (см. также упр. 17). Однако, как мы увидим в следующем параграфе, существуют задачи, в которых оптимальная процедура устроена весьма просто.

Дальнейшие замечания и ссылки на литературу. Значительная часть материала этого и следующего параграфов основана на статьях Де Гроот (1962, 1963).

Теория последовательного выбора эксперимента для больших выборок разрабатывалась Черновым (1959, 1960, 1961b), Элбертом (1961), Бесслером (1960), Абрамсоном (1966) и Борером (1966). Родственные задачи рассматривали Андерсон (1964а) и Уиттл (1965).

В терминах функции неопределенности можно дать определение количества информации, содержащейся в эксперименте. При заданной функции неопределенности на множестве S среднее количество информации в эксперименте X, когда распределение равно определяется как среднее уменьшение неопределенности от проведения эксперимента Другими словами,

Это определение изучалось Линдли (1956, 1957) в предположении, что это энтропия, определенная посредством формулы (2). Заметим, что в теории статистических решений существует целый ряд определений информации, например к их числу относится информационная матрица Фишера (2) § 10.11. Различные определения исследовали Кульбак (1959), Сакагути (1957, 1959, 1964, 1966), Мэллоус (1959), Реньи (1961, 1964, 1966, 1967) и Хэклмэн (1967). Сюда примыкают также работы Кемптхорна (1966) и Кульбака (1967).

Экономическими аспектами получения информации занимались Маршак (1954, 1959, 1963b, 1964), Маршак и Миясава (1968) и Раднер (1961, 1962).