ГЛАВА II. МЕТОДЫ МИНИМИЗАЦИИ СРЕДНЕГО РИСКА

§ 1. Два пути минимизации среднего риска

Существуют два пути решения задачи минимизации среднего риска

по эмпирическим данным

Первый путь связан с идеей конструирования по выборке (2.2) и функции эмпирического функционала

т. е. такого функционала, который не зависит от неизвестной плотности распределения вероятностей . В отличие от (2.1), функционал (2.3) можно минимизировать. Точку минимума функционала (2.3) примем за точку минимума исходного функционала (2.1). Такой метод минимизации среднего риска называется методом минимизации эмпирического функционала.

Основная проблема, которая возникает при изучении метода минимизации эмпирического функционала — определить для каждого типа аппроксимации (2.3) величину ошибки и указать такую аппроксимацию функционала (2.1) эмпирическим функционалом (2.3), при которой гарантируется отыскание функции, доставляющей функционалу (2.1) значение, близкое к минимальному.

Второй путь связывает нахождение минимума функционала (2.1) с использованием итеративной процедуры:

Согласно процедуре (2.4) уточнение вектора параметров а на шаге определяется величиной шага и направлением

Оказывается, что если направление движения выбирать так, чтобы на каждом шаге выполнялось неравенство

где градиент по а функционала (2.1), математическое ожидание направления шага, то при некоторых дополнительных условиях, ограничивающих рост вектора (например, функцией и величину шаг требуется, чтобы 72 (0 <00 и в то же время процедура (2.4) и случайная выборка индуцируют последовательность сходящуюся к вектору параметров доставляющему минимум функционалу (2.1) [45].

Итеративная процедура (2.4) является развитием градиентных методов поиска минимума. В самом деле, если бы плотность распределения вероятностей была известна, то при определенных условиях можно было бы вычислить градиент

Тогда процедура спуска представляла бы собой следующее правило:

Процедура (2.4) отличается от (2.7) тем, что на каждом шаге в качестве направления движения выбирается не направление градиента, а такое направление, движение по которому происходит «в среднем примерно в ту же сторону, что и по градиенту». Слова «в среднем примерно в ту же сторону» формализуются неравенством (2.5).

Таким образом, основной результат теории итеративных методов состоит в том, что даже при достаточно общих условиях, определяющих выбор направления движения и величину шага, итеративные процедуры (2.4) приводят к цели. Однако именно в силу универсальности итеративной процедуры, отыскание значения функционала, близкого к минимальному, можно гарантировать лишь асимптотически. Для решения задач минимизации среднего риска по выборке фиксированного объема

итеративные методы оказываются малоприспособленными. Поэтому в дальнейшем мы не будем их рассматривать. Решение задачи минимизации функционала (2.1) по эмпирическим данным (2.2) будем связывать с конструированием эмпирического функционала (2.3) и последующей его минимизацией.