10.2. Информация и неопределенность
Добыть относящуюся к делу информацию — это и есть цель эксперимента. Наилучший эксперимент тот, который наиболее информативен. Поэтому вполне естественно, что мы в своих поисках количественного критерия для выбора тех экспериментов, которые надо будет проводить, обратимся к теории информации.
Предположим, что 
это случайный вектор. По вероятностному распределению вектора 
мы можем получить картину неопределенности, связанной с наблюдениями чем больше «размазывается» распределение 
, тем более неопределенным будет предполагаться значение всякой отдельной реализации вектора 
. Это интуитивное понимание неопределенности было формализовано Шенноном [176], который показал, что единственная (если не считать положительного множителя) подходящая мера неопределенности, связанной с плотностью распределения 
задается формулой
Мы приобретаем информацию путем уменьшения неопределенности. Допустим, что 
это соответственно априорная плотность распределения вектора 
и апостериорная плотность после того, как был выполнен эксперимент. Согласно Линдли 1137], количество информации 
которое приобретается с помощью эксперимента, равно уменьшению в неопределенности от априорного к апостериорному распределениям:
Наша цель — найти такой эксперимент, который максимизирует величину 
Поскольку на величину 
эксперимент не влияет, мы можем равным образом искать тот эксперимент, который минимизирует величину 
Когда 
является вектором неизвестных параметров 
функции 
могут быть априорной и апостериорной плотностями в обычном байесовском смысле. Если мы хотим избежать этой интерпретации,
то мы можем считать, что 
это плотности оцененных выборочных распределений до и после проведения эксперимента. Если аппроксимации нормальным распределением признаются законными, то эти две интерпретации приводят к идентичным результатам.
Нам понадобится вычислять величину 
для многомерного нормального распределения. Пусть 
Мы имеем:
Отбрасывая не относящиеся к делу константы, мы можем сказать, что величина
есть мера неопределенности в распределении 
Ранее (см. раздел 7.10) мы отмечали, что для нормального распределения величина 
пропорциональна объему доверительной области в пространстве 
Равенство 
нам говорит, что неопределенность растет линейно с логарифмом объема доверительной области. Эксперимент, предназначающийся для минимизации неопределенности, одновременно служит уменьшению, насколько можно, объема доверительной области.
