Глава 7. АППРОКСИМАЦИЯ ДЛЯ НЕПРЕРЫВНЫХ СЛУЧАЙНЫХ ПРОЦЕССОВ

1. Введение

Чтобы получить непрерывный вариант метода стохастической аппроксимации, можно заменить разностное рекуррентное итерационное соотношение, отвечающее дискретному случаю, стохастическим дифференциальным уравнением. Мы докажем сначала лемму, которая окажется полезной при доказательстве основных результатов. Методы, рассматриваемые в теоремах 1 и 2, могут быть использованы для вычислений на аналоговых вычислительных машинах. Затем обсуждается применение к задаче управления.

В § 3 разрабатывается непрерывная процедура Кифера — Вольфовица для случайного процесса на прямой (см. работу Дупача [1]), которая оказалась полезной для практических приложений.

2. Непрерывный вариант стохастической аппроксимации

Мы будем следовать методу Дримла и Недомы [1], который используется для вычислений на аналоговых устройствах. Сначала докажем следующую лемму:

Лемма (Дримл — Недома). Пусть непрерывная действительная функция, такая, что существует

Пусть заданное число, такое, что и пусть таково, что для всех имеет место

неравенство

Тогда для

где С — константа, которая не зависит от для для Если то

Доказательство. Если , то

и первый член в правой части остается постоянным для любого Таким образом, достаточно доказать (3) лишь для В этом случае, интегрируя по частям, получаем

Если имеем

Таким образом,

Если , то

так что

и соотношения (3), а вместе с ним и (4) доказаны. Докажем теперь первый основной результат этого параграфа — теорему о сходимости стохастической аппроксимации (последняя определена ниже).

Теорема 1 (Дримл — Недома). Пусть измеримое пространство с полной вероятностной мерой Пусть случайная функция двух действительных параметров

удовлетворяющая следующим условиям:

(ii) для любого

(iii) существует функция (называемая функцией регрессии), такая, что

Обозначим через 0 множество Тогда решение дифференциального уравнения

где существует с вероятностью единица, и если пустое множество), то

здесь означает обычную метрику на действительной прямой.

Доказательство. Обозначим через множество

Непосредственно из предположений теоремы вытекает, что Из непрерывности и монотонности случайного процесса с вероятностью единица следует, что функция регрессии также непрерывна и не убывает. Следовательно, — замкнутый,

возможно, вырождающийся интервал. Пусть и/или могут быть равны и/или соответственно). Разрешимость почти наверное дифференциального уравнения (5) немедленно следует из предположения (i).

В оставшейся части доказательства будем рассматривать фиксированный элемент из множества Из (7) следует, что решение дифференциального уравнения (5) существует и, конечно, является непрерывной функцией от Докажем прежде всего, что для любого и любого существует точка такая, что

Если то неравенство (8) следует из непрерывности траектории Если положим Будем исследовать только случай с поскольку второй случай полностью аналогичен этому.

Предположим, что точки

2 удовлетворяющей неравенству (8), не существует, т. е. предположим, что

Интегрируя (5) и используя получим.

Условие (iii) и формула (3) обеспечивают существование числа такого, что для всех

где Таким образом, а это противоречит предположению (9).

Теперь докажем, что Предположим, что это не так, т. е. предположим, что существует положительное число такое, что для любого можно найти число для которого

Следовательно, из этого предположения, непрерывности функции и предыдущей части доказательства вытекает, что

(a) либо для каждого существует точка такая, что

(b) либо для каждого существует точка такая, что

Покажем, что противоречие может быть получено из утверждения То же самое имеет место и для утверждения доказательство аналогично, и потому мы его опускаем.

Обозначим через А положительное число

Тогда можно выбрать такое число что для всех

В силу утверждения и соотношения (8) существует точка удовлетворяющая условию

Теперь в силу утверждения можно найти точку такую, что и

Наконец, обозначим через наибольшее число, удовлетворяющее соотношениям и

Существование такого числа следует из непрерывности траектории Для всех таких, что имеем тогда

Теперь, интегрируя обе части дифференциального уравнения (5) от до получим

Используя снова лемму и условие (10), имеем

и мы пришли к противоречию.

Таким образом, для выбранного выше соотношение

доказано и, поскольку со было выбрано произвольно, (14) имеет место для Таким образом, соотношение а вместе с ним и теорема 1 полностью доказаны. Гарднер [1] рассмотрел примёнение этой теоремы к задаче управления.

Второй основной результат этого параграфа связан с исследованием процесса аддитивного вида.

Теорема 2 (Дримл-Недома). Пусть измеримое пространство с полной вероятностной мерой Пусть непрерывная действительная

функция действительного переменного, такая, что существует число обладающее следующими свойствами:

Пусть случайный процесс, такой, что

и

Положим

тогда решение дифференциального уравнения

существует с вероятностью единица и при этом

Доказательство. Как и при доказательстве теоремы 1, обозначим через множество

Очевидно, что

Разрешимость почти наверное уравнения (5) следует из непрерывности и из непрерывности почти наверное

Пусть произвольный элемент из Сначала докажем, что траектория сходится к

некоторому числу, конечному или бесконечному, когда Предположим, что это не так. Тогда существуют два числа одновременно большие или меньшие, чем и такие, что для каждого существуют моменты удовлетворяющие условиям

В дальнейшем мы займемся исследованием лишь случая Случай может быть изучен аналогичным образом.

Как уже отмечалось, мы предполагаем, что Пусть равно Очевидно, Введем такое обозначение:

Пусть такое число, что для всех

Выберем числа так, чтобы

Интегрируя обе части дифференциального уравнения (5) от до получим

Среднее по времени значение случайного процесса -для рассматриваемого равно

и, следовательно, положительно. Итак, можно применить формулу (4). Из формул (4) и (15) получаем, что Мы получили противоречие. Таким образом, траектория сходится для

Остается доказать, что она сходится к корню функции Допустим противное, а именно что

Мы снова будем исследовать только второй случай.

Из предположения вытекает следующее: для данного числа удовлетворяющего условию существует момент такой, что для всех

Обозначим через положительное число

Выберем число так, чтобы и пусть такой момент, что для всех

Интегрируя обе части дифференциального уравнения (5) от до и используя соотношения (16) и (4), заключаем, что

Таким образом, что противоречит предположению Поэтому и так как - произвольная точка из множества теорема 2 полностью доказана.