9.2. ЗАДАЧА НАХОЖДЕНИЯ НАИЛУЧШЕГО ПРАВИЛА РЕШЕНИЯ ЗАДАННОЙ СТРУКТУРЫ

Аппроксимация правила решения (алгоритма обработка информации, управления и т. п.) так или иначе сводится к заданию его структуры с точностью до неизвестных параметров, подлежащих выбору в процессе оптимизации этого структурно заданного правила. Таким образом, общей чертой рассматриваемого подхода является задача в качестве правила решения функциональною преобразования

где известная функция своих аргументов; совокупность неизвестных параметров, подлежащих выбору в процессе синтеза.

Средний риск правила решения (9.2.1) для некоторой функции потерь равен

где

— значение апостериорного риска для решения Естественно, что для правила (9.2.1) заданной структуры средний риск зависит только от с, в результате чего задача синтеза переводится из функционального пространства правил решения в евклидово нространспо параметров с, т. е. существенно упрощается.

В байесовом случае (при известных распределениях вероятности величина среднего риска как функция параметров с определяется с помощью обычной процедуры вычисления математического ожидания, а наилучшее в классе (9.2.1) правило решения находится подстановкой в (9.2.1) оптимального значения которое минимизирует величину среднего риска, т. е. удовлетворяет уравнению

Физический смысл параметров с и их количество определяются содержанием конкретных задач.

При нахождении наилучшего в классе (9.2.1) правила решения с нет необходимости оперировать понятием апостериорного риска, поскольку благодаря параметризации правила решения в соответствии с задача оптимизации и так решается в

сравнительно просто устроенном евклидовом, а не в произвольном функциональном пространстве.

Решение уравнения (9.2.4) может быть найдено различными методами, широко варьируемыми в зависимости от конкретного содержания задачи и вида функции При этом могут быть использованы как конечные методы, так и различные итеративные процедуры. Мы не будем заниматься их обсуждением. Стоит отметить только, что если функция дифференцируема по с и дополнительные ограничения на с отсутствуют, то уравнение (9.2.4) эквивалентно следующему уравнению для градиента:

одно из решений которого даст оптималыюе значение

Если, кроме того, операции дифференцирования и вычисления математического ожидания по х перестановочны, то уравнение (9.2.5) может быть переписано в следующем виде:

который часто более удобен для нахождения решения уравнения (9.2.5). Нужно заметить, правда, что переход от (9.2.5) к (9.2.6) возможен далеко не всегда.

Обратимся теперь к случаю, когда имеется априорная неопределенность и полное статистическое описание х и X, необходимое для применения обычного байесова подхода и нахождения оптимального правила решения отсутствует. Если ограничиться только правилами решения заданной структуры (9.2.1), то могут представиться три возможныч случая:

1. Функция потерь задана, а аппроксимация правила решения выбрана так, что имеющихся ограниченных априорных сведений достаточно для вычисления математического ожидания функции потерь по т. е. величины среднего риска при любых интересующих нас значениях с. Тогда функция определена и оптимальное значение находится из уравнения (9.2.4) или (9.2.5).

Устранение априорной неопределенности в данном случае достигается чисто аналитическим путем — за счет соответствующего выбора аппроксимирующего правила решения Нужно отметить, что такая возможность не является чем-то исключительным: почти всегда можно подобрать такую аппроксимацию правила решения, что имеющихся даже самых ограниченных априорных данных достаточно для вычисления среднего риска как функции с. Весь вопрос в сложности этой апроксимации и главным образом в качестве даже наилучшего из введенного класса правила решения, которое может оказаться непригодным несмотря на то, что оно является наилучшим.

2. Функция потерь задана, а аппроксимация правила решения выбрана так, что имеющихся ограниченных априорных данных достаточно для вычисления математического ожидания функции потерь по X при заданном значении х, т. е. величины апостериорного риска при любых интересующих нас значениях с.

Хотя, на первый взгляд, кажется, что для нахождения нужно знать функцию апостериорного риска (при постановке в которую правила решения получается значение и для определения которой необходимо иметь полное статистическое описание х

и ) и в большинстве случаев это действительно требуется, имеются исключения, соответствующие важным практическим задачам, когда апостериорный риск для правила решения находится непосредственно с использованием ограниченных априорных данных, недостаточных для нахождения функции апостериорного риска для любого решения и применения обычного байесова подхода.

Знания функции еще недостаточно для нахождения оптимального значения нужно ее математическое ожидание по средний риск Если в качеств ноль; тельных данных наблюдения имеется совокупность значению где каждое распределено так же как то можно заменить вычисление математического ожидания эмпирическим осреднением по этой совокупности. При слабых ограничениях на эмпирическое среднее

является состоятельной оценкой среднего риска и может быть использовано для выбора наилучшего значения минимизирующего (9.2.7) и являющегося оценкой олтимального значения

Для сходимости истинному значению среднего риска вообще говоря, не требуется, чтобы значения независимымы. Достаточно более слабого требования эргодичности последовательности которое может выполняться и при зависимых (заметим, что всюду в гл. 8 также достаточно этого требования). Конкретные условия сходимости, конечно, зависят от статистических свойств последовательности в целом.

Так, если величины независимы, то оценка из (9.2.7) на основании усиленного закона больших чисел всегда сходится с вероятностью единица к поскольку существует математическое ожидание Если стационарная последовательность, то сходимость обеспечивается при условии

В общем случае произвольной последовательности условием сходимости оценки (9.2.7) к истинному значению является

При этом даже не обязательно, чтобы величины были распределены так же, как величины х. Достаточно выполнения более слабого требования, чтобы при любом

При выполнении условий сходимости последовательность значений , минимизирующих величину оценки среднего риска

при данном сходится при к оптимальному значению минимизирующему величину среднего риска значение является состоятельной оценкой оптимального значения с, а правило решения является приближенно наилучшим правилом из заданного класса (9.2.1).

Методы нахождения значения по известной аналитической зависимости апостериорного риска и эмпирическои последовательности будут рассмотрены дальше. Заметим только, что с рассмотренным здесь случаем иногда связывают термин «самообучение» или «обучение без поощрения», подчеркивая этим, что данные наблюдения (полная их совокупность есть не содержат никакой информации о параметрах к, характеризующих истинные ситуации и определяющих последствия от принятия решения, а наблюдаются только величины со смешанным распределением вероятности

Подчеркнем также, что возможность получения функциональной зависимости знание которой обеспечивает возможность решения задачи при наблюдении только величин существенно зависит от выбора функции потерь и класса аппроксимирующих правил решения и

3. И, наконец, третья возможность заключается в том, что при имеющихся ограниченных априорных сведениях и выбранных невозможно вычислить ни ни В этом случае для получения состоятельной оценки среднего риска, необходимой для нахождения состоятельной оценки значения наряду с последовательностью нужны дополнительные данные наблюдения.

При этом возможны два варианта. В первом из них, более содержательном с точки зрения качества имеющихся эмпирических данных, для каждого наряду с имеются наблюденные значения которые характеризуют для каждого возможного решения и величину потерь. При этом полная совокупность эмпирических данных образует последовательность с помощью которой для любой возможной функции можно построить состоятельную оценку среднего риска, заменив в (9.2.2) операцию математического ожидания операцией эмпирического осреднения

Минимизация этой оценки по с дает решение являющееся состоятельной оценкой оптимального значения параметра Как и в п. 2, само правило решения

получается подстановкой в (9.2.1) значения естественно, зависит от совокупности имеющихся эмпирических данных: в случае п. в данном случае.

Условия, при которых оценка из (9.2.11) сходится к истинному значению среднего риска а последовательность значений минимизирующих эту оценку, к оптимальному значению аналогичны приведенным в п. 2.

Пои этом аналогом условия независимости последовательности является независимость последовательности пар при более общих предположениях о статистических свойствах последовательности в формулах следует заменить на и иметь в виду что математическое ожидание вычисляется по и второй и более сложный вариант состоит в том, что значения недоступны для наблюдения, а все, что мы действительно можем наблюдать, кроме это значения потерь которые получаются, если принимаем решение (Если пользоваться терминологией, связанной с обучением, то данный случай можно охарактеризовать как платное обучение, за которое мы расплачиваемся не только затратами времени на набор эмпирических данных, но и реальными потерями, такими же, как в рабочей ситуации.)

Для того чтобы и в этом случае выбрать значение параметров с, входящих в правило решения (9.2.1), нужно при выбирать решение в соответствии с этим правилом, т. е. где какая-либо последовательность значений с. Только при этом величины потерь будут давать содержательную информацию о зависимости среднего значения потерь среднего риска от величины с.

При таком выборе решения величина является случайной, порожденной случайностью и неявно зависящей от выбранного значения т. е.

Для получения состоятельной оценки величины среднего риска нужно, вообще говоря, иметь достаточно длинную подпоследовательность для каждого элемента которой выбрать с и аналогично предыдущим случаям заменить операцию математического ожидания операцией эмпирического среднего по этой подпоследовательности. В результате будем иметь оценку среднего риска для данного значения

Далее нужно получить такую же подпоследовательность для для всех интересующих нас значений параметров с из заданной области их значений. Совокупность оценок типа (9.2.14) для всех интересующих нас значений с, заполняющих с некоторым шагом область возможных значений с, будет являться оценкой среднего риска как функции с, а минимальное значение из этой совокупности определит наилучшее значение с, которое следует подставить в правило (9.2.1).

Описанная процедура представляется очень громоздкой, поскольку она предполагает прямой перебор на множестве возможных значений с. К сожалению, невозможно предложить ничего другого, если нет априори уверенности, что неизвестный нам средний риск является достаточно плавной функцией с и может допускать большие изменения при малых изменениях с, и если мы действительно желаем найти наилучшее правило решения из класса (9.2.1).

Если же априори можно считать, что достаточно плавная функция с ограниченной вариацией или даже дифференцируемая функция с ограниченной величиной градиента то вместо построения совокупности оценок (9.2.14) и прямого перебора можно предложить процедуру упорядоченного поиска экстремального значения которая при определенных условиях позволяет добиться того, что величина является состоятельной оценкой неизвестного оптимального значения

Эта процедура представляет собой по сути дела некоторый план перимента, в процессе которого наблюдается последовательность значений для каждого выбирается значение принимается решение фиксируется величина последовавших за этим решением потерь и на основе полученной после шага информации (совокупности данных наблюдения и выбранных ранее значений ) принимается решение о выборе того или иного значения для следующего шага. Указанная процедура была предложена Кифером и Вольфовицем [15] и носит название процедуры стохастической аппроксимации Кифера — Вольфовица (поисковый алгоритм адаптации [39]). Более подробно она будет описана ниже.

Стоит подчеркнуть, что в рассматриваемом случае нет необходимости в задании функции потерь и даже в установлении смысла параметров , определяющих величину потерь, поскольку мы наблюдаем величины непосредственно, а из-за незнания значений , задание функции потерь ничем не способствует уточнению оценки среднего риска.

Перечисленные выше возможности будут более подробно рассмотрены и проиллюстрированы примерами в следующих главах.