9.9. СЛУЧАИ, КОГДА ИМЕЮТСЯ ЭМПИРИЧЕСКИЕ ДАННЫЕ О x И ЗНАЧЕНИЯХ ПОТЕРЬ

Рассмотрим второй из описанных в § 9.2 вариантов задания эмпирической статистики для случая, когда априорные данные настолько ограничены, что для заданной функции потерь и введенного класса правил решения невозможно вычислить ни средний, ни апостериорный риск. В § 9.2 были приведены эмпирические оценки для среднего риска в этом случае, по которым можно найти наилучшие значения параметров с правила решения (9.2.1).

Напомним, что непременным условием получения состоятельной оценки для среднего риска является формирование эмпирической последовательности из наблюдаемых значений и потерь с использованием правила решения заданной структуры, т. е. выбор на каждом шаге решения по правилу где

— какая-либо последовательность значений с, достаточно плотно заполняющая множество значений с по крайней мере в окрестности значения минимизирующего средний риск правила решения Только при этом условии величины дают содержательную информацию о зависимости среднего риска от величины с и о положении его минимума.

В § 9.2 мы обсудили общий способ нахождения наилучшего значения с, основанный на построении оценок среднего риска для достаточно плотной сетки значений и прямом переборе значений этих оценок с выбором минимальной из них. В настоящем параграфе будет рассмотрен способ упорядоченного перебора, реализуемый рекуррентной процедурой типа процедуры Кифера — Вольфовица и пригодный в том случае, когда имеется априорная уверенность, что функция среднего риска для правила решения есть достаточно плавная функция с ограниченной вариацией.

Идея этого способа заключается в следующем. Пусть на каждом шаге наблюдается значение После получения этого значения выбирается некоторое значение и принимается решение которое определяется заданным правилом наблюденным значением и выбранным значением Это решение влечет за собой потери, величина которых порождается случайностью х и неизвестного нам значения характеризующего истинную ситуацию, и неявно зависит от выбранного значения причем вид этой функциональной зависимости нам неизвестен.

Пусть далее на некотором шаге значение выбрано. Для того чтобы установить, насколько хорош этот выбор и следует ли принять это значение в качестве наилучшего, нужно, казалось бы, оценить величину среднего риска при а также при всех других значениях с и сравнить полученные значения, т. е. опять прибегнуть к полному перебору. Однако, имея в виду, что поиск минимума осуществляется с помощью многошаговой процедуры, можно ограничиться существенно меньшим, а именно выяснить, есть ли в окрестности значения хотя бы одно значение с, при котором ожидаемые потери (средний риск) будет меньше, чем при и в случае, когда такое

значение имеется, выбрать его в качестве значения для следующего шага. Для выяснения существования такого значения с достаточно оценить приращение функции среднего риска при переходе от точки к какой-либо другой точке. В рассматриваемом способе в качестве такой оценки применяется величина приращения потерь при переходе от точки к другой точке с.

Эта оценка может быть получена многими способами, различающимися правилом выбора точки с в окрестности точки Обычно исследование этой окрестности производится заданием ряда точек вида

где положительное число, зависящее от единичный вектор той же размерности, что и вектор Вектор может выбираться случайно, но чаще всего на каждом шаге выбирается столько точек вида (9.9.1), какова размерность вектора и каждой точке соответствует свой вектор ортогональный остальным единичным векторам.

Выбирая значения с в соответствии с (9.9.1) и принимая для каждого из них в соответствии с правилом решение

получаем для каждого из этих решений значение потерь

Вводя векторное обозначение

и формируя разность

где — потери от принятия решения

получаем искомую оценку для вектора приращения потерь.

Одновременно с (9.9.1) можно задать другую систему точек с, отличающихся от (9.9.1) заменой на принять соответствующую ей систему решений (9.9.2) с заменой на получить соответствующий вектор потерь и использовать в качестве оценки вектора приращения потерь разность

Заметим, что предыдущие формулы предполагают, что очередной шаг содержит одно наблюдение (для случая или (для случая решений соответственно для в первом случае и для во втором. Наряду с этим для каждого из перечисленных значений с можно

использовать свое отдельное наблюдение. При этом на очередной шаг затрачивается или наблюдений все значения потерь получаются независимыми и состоятельность оценки приращения потерь (9.9.4) или (9.9.6) несколько увеличивается.

Возможны также промежуточные случаи, например, когда одно измерение затрачивается на определение потерь для значений а второе — для значений или только при использовании (9.9.4).

Оценки приращения потерь (9.9.4) или (9.9.6) являются основой процедуры Кифера — Вольфовица. В остальном она является обычной рекуррентной процедурой нахождения положения минимума среднего риска, в которой градиент неизвестного среднего риска заменяется оценкой приращения потерь Соответствующее рекуррентное соотношение имеет вид

где заданная последовательность коэффициентов, подчиненная некоторым условиям. Помимо этих условий, очевидно, что последовательность коэффициентов также должна быть подчинена определенным ограничениям. С одной стороны, величина не должна быть слишком малой, чтобы случайные отклонения оценки от истинной величины градиента среднего риска не были чрезмерно велики; с другой — не должна быть слишком большой, чтобы величина шага по параметру с была достаточно мала и не происходило перескакивания через минимум С этой точки зрения ясно, что по мере приближения к минимуму величина шага должна уменьшаться, т. е. последовательность должна сходиться к нулю.

Эти качественные соображения подкрепляются условиями сходимости процедуры Кифера — Вольфовица, ее подробное исследование приведено в работе [23]. Здесь же приведем условия, которым должны подчиняться коэффициенты для обеспечения сходимости. Эти условия имеют вид

Рекуррентное соотношение (9.9.7) при выполнении условий сходимости решает задачу отыскания наилучшего значения для многочисленного класса задач, в которых мы располагаем эмпирическими данными только о наблюдаемых величинах х и потерях В то же время ясно, что процедура Кифера — Вольфовица допускает многочисленные дальнейшие модификации и усовершенствования. Первое, что бросается в глаза, — это целесообразность разработки рекомендаций по рациональному выбору весовых коэффициентов которые в практических применениях чаще всего берутся равными По всей вероятности, существенного улучшения эффективности этой процедуры можно добиться, если по аналогии с рассмотренными ранее случаями заменить

априори задаваемую последовательность коэффициентов последовательностью весовых матриц зависящих от реализации эмпирической последовательности и формируемых в соответствии с рекуррентным соотношением

где — оценка матрицы вторых производных, формируемая из конечных вторых приращений аналогично тому, как оценка градиента формируется с помощью первого приращения. Замена на из (9.9.9) оптимизирует процедуру нахождения наилучшего значения по крайней мере в окрестности минимизирующего значения и при достаточно малом шаге Дальнейшее усовершенствование процедуры (9.9.7) связано с разработкой способов выбора шага который, возможно, также целесообразно сделать зависящим от наблюденной реализации.