9.3. Последовательное оценивание

Допустим, что нужно провести последовательность экспериментов, и мы хотим заново оценивать параметры по мере того, как поступают результаты каждого эксперимента.

Многие изученные нами целевые функции состоят из суммы членов, каждый из которых содержит результаты единственного эксперимента. Примерами являются суммы квадратов, взвешенные суммы квадратов, логарифмические функции правдоподобия с известными ковариационными матрицами. Обозначим в таком случае с помощью слагаемое, соответствующее эксперименту, а с помощью (6) — целевую функцию для экспериментов. Тогда

Отсюда следует, что

Если бы мы уже оценили параметры после эксперимента, мы нашли бы значение которое минимизирует функцию Мы по лучили бы также матрицу которая является аппроксимацией матрицы Гессе от функции при Аппроксимация функции рядом Тейлора в окрестности точки дается формулой

Когда получены результаты эксперимента, мы хотим найти оценку которая минимизирует функцию Естественно ожидать, что будет не очень сильно отличаться от так что аппроксимация еще действительна и ее можно использовать для подстановки в Вместо минимизации мы можем взамен минимизировать функцию

Функция намного проще и вычисляется легче, чем так что за счет такой подстановки можно сэкономить много машинного времени. Конечно, если окажется, что функция минимизируется в точке, настолько далеко ушедшей от точки что равенство уже не может быть принято, то нам придется опять вернуться к функции Мы используем оценку как начальное приближение для минимизации а результат этой минимизации — как начальное приближение для минимизации если понадобится. Для этой последней минимизации может оказаться достаточно единственной итерации.

Если это взятый с обратным знаком логарифм функций правдоподобия для эксперимента, то формула может рассматриваться как выражение логарифма апостериорной плотности распределения, в котором слагаемое играет роль члена, относящегося к логарифму априорной плотности. Он соответствует нормальному распределению параметров со средним и ковариационной матрицей Это хорошо согласуется с тем фактом (установленным в главе VII), что матрица есть аппроксимация ковариационной матрицы оценок и что квадратичная форма равна приблизительно (если не считать аддитивной постоянной) логарифму апостериорного распре деления после экспериментов. Минимизация функции соот ветствует отысканию моды апостериорного распределения после экспериментов, когда апостериорное распределение после экспериментов принимается как априорное распределение.

Эти результаты можно распространить на тот случай, когда параметры нужно переоценивать только после того, как будут закончены

у дополнительных экспериментов. Здесь

Процедуры последовательного оценивания приобретают особый интерес, когда вычислительная машина планирует, контролирует и анализирует результаты экспериментов поочередно (см. главу X). Численные иллюстрации даны в разделе 9.8.