3. Процедура Кифера — Вольфовица для непрерывных случайных процессов

Для построения этой процедуры будем следовать методу Дупача [1] и использовать следующие обозначения.

Рассмотрим параметров как компоненты -мерного вектора х. Базисом пространства будет набор единичных векторов вектор имеет в качестве компоненты единицу, а остальные его компоненты равны нулю. Обозначим обычную евклидову норму и скалярное произведение через и соответственно, а функцию регрессии через

Пусть — векторный параметр, для которого минимальна. Положим

где с положительная функция, свойства которой будут описаны позже. Процедура аппроксимации для отыскания минимума определяется тогда посредством следующих соотношений:

и

где является начальным значением параметра, а

а

где положительная константа (позднее мы укажем соответствующую границу для ). Для удобства дальнейшего изложения обозначим через вектор, компонентой которого является а через вектор, компонентой которого является Определим также

и

Заметим, что эти величины определяются в терминах параметра х, а не случайной величиной

Теорема 3 (Сакрисон). Предположим, что

где суть эргодические случайные процессы, ограниченные по модулю с вероятностью единица, функции с ограниченными вторыми производными относительно для всех

(iii) Пусть любой из случайных процессов

или

и пусть любой ограниченный функционал от процессов

и

Потребуем, чтобы для всех выполнялись следующие условия:

где

положительные, константы. Если положим

Тогда

Доказательство. Из уравнения (3) имеем

Правая часть этого уравнения ограничена по модулю, с вероятностью единица для всех в силу условия то же верно и для

Таким образом, по теореме Колмогорова [1]

Для краткости обозначений положим

Прибавим и вычтем член из правой части уравнения (11) и возьмем математическое ожидание от обеих частей уравнения. Тогда

Выведем теперь соответствующие оценки для двух членов в правой части этого уравнения. Рассмотрим сначала С помощью ряда Тейлора можно выразить компоненту этого вектора как

Таким образом, используя условие получим

Скалярное произведение можно записать в виде

где величины задаются следующими равенствами:

Заметим, что из предположения и определения следует, что если не равно нулю, и если не равно нулю. Члены таким образом, всегда дают отрицательный вклад в или Мы получаем верхнюю грань суммы Ослабим эту верхнюю грань, игнорируя члены с и объединим результат с неравенством (16) и предположением Мы получим

Для достаточно малого при надлежащем определений имеет место неравенство

Поскольку это верно для любого неравенство имеет место также для X, порожденного процедурой аппроксимации к моменту времени Таким образом, подставляя в (20) и взяв от обеих частей математическое ожидание, мы видим, что можно ограничить первый член правой части уравнения (14) следующим выражением:

Рассмотрим теперь второй член правой части уравнения (14). В этом скалярном произведении

ном является

В соответствии с уравнениями (2) — (6) и условием может быть выражен в виде

По условию (i) все встречающиеся в этом выражении, ограничены и обладают ограниченными первыми частными производными относительно всех для всех и всех Рассмотрим ( член в этом выражении и для краткости обозначим через Тогда его можно записать в виде

где порядок интегрирования и взятия математического ожидания изменен, так как процесс в подинтегральном выражении ограничен по модулю с вероятностью единица (см. Колмогоров [1]). Процессы под знаком математического ожидания, ограничены с вероятностью единица для всех Поэтому мы можем использовать условие (iii), чтобы ограничить математическое ожидание в подинтегральном выражении по величине с помощью следующего выражения:

Подставляя эту оценку в уравнение (24), разбивая интеграл на интегралы по и оценивая сверху каждый интеграл, получим

где

Таким образом, второй член в правой части уравнения (14) может быть оценен по модулю выражением

Объединение этой оценки с оценкой, полученной в равенстве (21), с учетом уравнения (14) дает такое неравенство:

Теперь для любого

Применениенеравенства (29) к неравенству (28) для выбора

где

и

Интегрирование обеих частей уравнения (30) от О до приводит к следующему:

Рассмотрим теперь интегральное уравнение

с решением

в котором

Неотрицательность и непрерывность гарантируют, что для любой функции удовлетворяющей неравенству

(это легко показать, предполагая противное и получая противоречие). Итак, сосредоточим внимание на оценке для Теперь для всех больших нуля, и по условию интегрируема. Таким образом, в силу общей теоремы сходимости Лебега и условия (iv)

что завершает доказательство теоремы 3.