Главная > Стохастическая аппроксимация
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

4. Об оптимизации процесса стохастической аппроксимации

Для процедур Роббинса — Монро и Кифера-Вольфовица сходимость процесса стохастической аппроксимации с вероятностью единица и в среднеквадратичном доказывается при довольно широких предположениях относительно входящих в эти процедуры коэффициентов. Требуется лишь сходимость и расходимость некоторых рядов, члены которых зависят от коэффициентов процедуры. Однако скорость сходимости существенно зависит от выбора этих коэффициентов. Поэтому можно ставить задачу об оптимальном в том или ином смысле выборе коэффициентов. Оценка скорости сходимости процедуры Роббинса — Монро в среднеквадратичном и некоторые результаты по ее оптимизации получены в работе Шметтерера [3]. Им рассмотрена следующая схема.

Пусть класс функций распределения, зависящий от параметра Предположим, что для некоторого тождественно по х с

и Пусть а — действительное число и уравнение имеет единственное решение Рассматривается процедура Роббинса — Монро для отыскания

При этом имеет функцию распределения Величины и имеют место соотношения

Функция удовлетворяет следующим предположениям:

Для некоторого при

а для

Обозначим

Шметтерер [3] доказал следующее утверждение:

Теорема 4.1 (Шметтерер). В принятых предположениях имеет место оценка

где некоторая константа,

При доказательстве теоремы 4.1 получена оценка

и показало, что она не может быть улучшена. Из теоремы 4.1 непосредственно следует, что всегда можно выбрать удовлетворяющие условиям (4.1), так, чтобы стремились к нулю как некоторая степень величины При этом, если известна величина такая, что условие выполняется в большинстве приложений), то у можно сделать как угодно близким к единице.

В работе Дупача [2] показано, что если к условиям теоремы 4.1 добавить предположение о существовании то, полагая можно доказать, что Здесь же оценивается скорость сходимости процедуры Кифера — Вольфовица в зависимости от порядка убывания коэффициентов и рассматривается вопрос об оптимальном (в смысле асимптотической скорости сходимости в среднеквадратичном этой процедуры) выборе порядка убывания коэффициентов. Показано, что оптимальная скорость сходимости существенно зависит от степени гладкости функции регрессии в окрестности ее точки максимума. Так, при отыскании максимума функции регрессии на отрезке с помощью обычной процедуры Кифера — Вольфовица вида

в предположении, что в окрестности точки максимума функция регрессии непрерывно дифференцируема, получается оценка

независимые случайные величины с распределением распределение это распределение, математическим

ожиданием которого является максимизируемая функция регрессии, а символ означает

В (4.2) , причем выбор является оптимальным, т. е. при этом скорость стремления к нулю наибольшая. Более точно, для Для существуют такие которые удовлетворяют всем условиям процедуры и для которых для некоторого

В предположении, что функция трижды непрерывно дифференцируема в окрестности точки 0, справедлива оценка

причем в этих условиях выбор является оптимальным. В предположении аналитичности функции в некоторой окрестности точки 0 и симметрии этой функции относительно 0 в некоторой окрестности этой точки имеет место оценка

Дупач в той же работе [2] дал оценку скорости сходимости многомерного процесса Роббинса-Монро для случая линейной функции регрессии. При некоторых условиях эта оценка имеет вид

Весьма интересной является работа Стратоновича [3]. Он исследовал возможности получения итерационных алгоритмов для отыскания корня уравнения регрессии по наблюдениям за реализациями

случайной величины при различных значениях параметра. Для получения алгоритмов использовалось разложение функции регрессии в ряд Тейлора. Каждый из алгоритмов определяется несколькими первыми членами ряда. Показано, что процедура Роббинса — Монро соответствует в этой схеме случаю, когда в разложении Тейлора сохраняются лишь линейные члены. Стратонович показал, что если в его схеме удерживать также члены более высокого порядка, то можно получить итерационные алгоритмы, которые дадут большую скорость сходимости, чем обычная процедура Роббинса — Монро.

Методика Стратоновича применима не только для случая одномерной процедуры Роббинса — Монро, но и к случаю многомерной процедуры, а также к отысканию экстремума функции регрессии.

1
Оглавление
email@scask.ru