Глава 14. ПОСЛЕДОВАТЕЛЬНОЕ ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
§ 14.1. Введение
В этой главе мы рассмотрим задачи последовательного решения, в которых статистик на каждом шаге принимает два решения. Во-первых, он может продолжать процесс наблюдения или прекратить его. Во-вторых, в случае решения продолжать, статистик имеет возможность выбрать один из двух или большего числа экспериментов, доступных на этом шаге. Другими словами, всякий раз статистик может выбирать из определенного класса случайных величин ту, которую на этом шаге он предпочитает наблюдать. Путем последовательного планирования экспериментов статистик может в известной степени контролировать распределения наблюдений, получаемых в процессе выбора, и, следовательно, распределение своих выигрышей и затрат. Задача снова состоит в максимизации среднего значения некоторой функции выигрыша,
В силу относительно большой свободы выбора, имеющейся у статистика, задача отыскания оптимальной процедуры последовательного решения, как правило, весьма трудна. В самом деле, даже если вопрос о продолжении или прекращении экспериментов (наблюдений) полностью исключается из задачи, скажем, требованием о прекращении процесса после проведения ровно 
наблюдений, остается еще выбор между экспериментами, представляющий значительные трудности. Хотя в задачах только что указанного типа число шагов 
фиксировано, они являются задачами последовательного решения в следующем смысле: статистик последовательно планирует эксперименты, и его выбор одного из альтернативных экспериментов, доступных на данном шаге, может зависеть от всех предыдущих наблюдений.
Существует другой класс задач последовательного решения, в которых не надо строить правило остановки. В этих задачах число шагов процесса бесконечно, т. е. процесс продолжается неограниченно долго. На каждом шаге статистик должен выбрать один из нескольких имеющихся у него альтернативных экспериментов. В этих задачах обычно общий выигрыш или общий ущерб статистика является суммой бесконечного ряда, составленного из случайных величин. Поэтому статистик должен быть уверен, что предположения задачи гарантируют сходимость такого ряда. Бтлыпинство процессов, рассматриваемых в этой главе, либо
имеют конечное фиксированное число шагов, либо продолжаются неограниченно долго.
Обсуждение задач этого типа будет начато с изучения одного весьма общего класса процессов, известных как марковские процессы решения. Мы проиллюстрируем затем широкие возможности применения этих процессов на таких примерах, как задачи управления запасами, задачи поиска, процессы регулирования с адаптацией, системы пари, задачи о «двуруком бандите» и достаточные эксперименты в задачах статистического решения.
