Главная > Метод потенциальных функций в теории обучения машин
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

§ 4. Функционалы, экстремизируемые процедурами метода потенциальных функций

Как было указано в § 2, метод потенциальных функций служит для восстановления или приближения функции по информации о значениях этой функции в показанных точках. В обеих этих задачах восстановления и приближения функции необходимо каким-либо образом оценивать близость функции которая строится процедурой к функции Естественным способом оценки близости функции является задание функционала, зависящего от этих функций и имеющего минимум, например, равный нулю при совпадении

В конце этого параграфа будет показано, что для процедур метода потенциальных функций при выборе последовательности в соответствии с (10), т. е. в случае процедуры (11), (12), существует функционал для которого эта процедура является в некотором смысле градиентной. В последующих главах книги при анализе конкретных интересующих нас алгоритмов будет показано, что функционал является как раз подходящей мерой близости функций Именно, функционал удовлетворяет условиям

причем содержательный смысл этого функционала оказывается таким, что всякая функция (может быть, и отличная от обращающая функционал в нуль, является решением задачи.

Функционал играет далее в этой книге фундаментальную роль потому, что само определение сходимости процедуры потенциальных функций к восстанавливаемой или приближающей функции использует этот функционал.

Когда говорят о сходимости некоторой последовательности функций к функции в термин «сходимость» может быть вложен различный смысл. Можно иметь в виду, например, поточечную сходимость, сходимость в среднем квадрате и т. п. Во всяком случае, любое определение сходимости требует определения понятия близости функции Так, при поточечной сходимости в качестве меры близости принимается величина

при сходимости в среднем квадрате — величина

Сам же факт сходимости последовательности по определению означает, что при

В процедурах метода потенциальных функций, как уже говорилось, в качестве меры близости функций будет приниматься функционал Мы будем говорить, что процедура сходится к аппроксимируемой функции если стремится к нулю при .

В связи с тем, что функция случайная функция (она зависит от статистики показа; см. § 2), величина также случайная величина, и стремление к нулю понимается в вероятностном смысле (например, в смысле сходимости почти наверное; см. гл. IV).

Для того чтобы уточнить постановку задач о приближении и восстановлении функции нам потребуется ввести в рассмотрение два функциональных пространства, обозначенных далее

Рассмотрим введенные в § 2 системы функций связанные соотношением (5). Будем говорить, что

функция принадлежит классу , если она представима разложением

по системе функций и если, кроме того, математическое ожидание квадрата функции конечно,

Будем говорить также, что функция принадлежит классу если

где

и если

Покажем, что если функция принадлежит классу то она заведомо принадлежит и Для этого достаточно показать, что математическое ожидание квадрата функции, удовлетворяющей условиям (26), (28), конечно. Используя неравенство Коши — Буняковского, получаем из (26)

В силу равенства (6) имеем поэтому

Тем самым условия (7) и (28) гарантируют конечность т. е. принадлежность классу каждой функции из Обратное утверждение неверно, т. е. класс строго включен в класс

Покажем, что аппроксимирующая функция выстраиваемая процедурой к любому шагу, принадлежит классу если только исходная функция принадлежит этому классу. Действительно, в силу (9) функция разложима в ряд по системе а из процедуры следует, с учетом (7), что

Поэтому, если и, следовательно, то и а значит, Предположение (см.

§ 2) о том, что для исходной функции выполнено условие

означает, что Отсюда следует в силу индукции, что при любом

Будем говорить, что последовательность функций приближает функцию если при

Будем говорить, что последовательность функций восстанавливает функцию если

Очевидно, что если то последовательность приближающая функцию восстанавливает ее, так как в этом случае правая часть в (29) равна нулю:

Если же функция не принадлежит классу а приближение (29) имеет место, то последовательность в пределе «выделяет» из всех функций класса функцию, наиболе близкую к в смысле минимизации функционала

В главах V—VIII при исследовании конкретных алгоритмов доказываются теоремы, устанавливающие, в

каких случаях имеет место восстановление, а в каких — приближение функции Во всех алгоритмах, рассмотренных в этих главах, доказывается, что восстановление функции имеет место, если только принадлежит классу Более того, для большинства алгоритмов это оказывается верным и в том случае, если принадлежит классу Для алгоритмов такого типа удается доказать также и факт приближения к функции если не принадлежит ни классу ни классу Таким образом, оказывается чрезвычайно важным, к какому классу принадлежит функция принадлежит ли она или или не принадлежит ни ни Разумеется, это обстоятельство не может быть проверено эффективно, так как функция заранее не известна. Поэтому предположение о том, к какому классу относится эта функция, может быть сделано лишь на основе интуиции, опыта предшествующего решения аналогичных задач и т. д. Наиболее сильные результаты, конечно, получаются в тех случаях, когда принадлежит классу Выбирая систему функций и потенциальную функцию гл. III), мы стремимся именно к тому, чтобы обеспечить принадлежность классу

Предположение т. е.

мы будем называть в дальнейшем основной гипотезой. Из изложенного выше следует, что если даже мы ошиблись, сделав такое предположение, то все же большинство алгоритмов, рассмотренных в этой книге, приводят к восстановлению функции если и к приближению этой функции, если

Обратимся теперь к вопросу о том, какой вид имеет функционал и каким образом он связан с видом функции в процедуре (11), (12). Для того чтобы не усложнять изложения рассмотрением бесконечномерного пространства коэффициентов ограничимся здесь

конечномерным случаем этой процедуры:

Полное рассмотрение процедуры (11), (12) проведено в главе IV.

Введем функцию

где некоторая функция х. В силу того, что (см. § 2)

очевидно, что неотрицательная функция, обращающаяся в нуль при Принимая теперь в качестве функции ряд

получим функцию

Обратим внимание на то, что с помощью функции процедура (31) может быть записана в виде

Тождественность формул (31) и (35) легко проверяется прямым дифференцированием функции по если учесть определения (33) и (34).

Если бы точка в (35) оставалась бы одной и той же при всех а помеха отсутствовала бы

процедура (35) определяла бы процедуру градиентного спуска с переменным шагом Но точки меняются на каждом шаге и притом случайно, кроме того, в выражении (35) присутствует помеха Поэтому, разумеется, нельзя говорить, что процедура (35) минимизирует функцию как это обычно имеет место при использовании градиентного спуска. Однако если ввести в рассмотрение математическое ожидание

и считать, что математическое ожидание помехи при любом фиксированном х равно нулю, то можно показать, что процедура (35) минимизирует функцию (36), т. е. при где, как и везде в этой книге, предел понимается в вероятностном смысле (например, в смысле почти наверное). Этот факт следует из результатов главы IV, полученных там для более общего случая.

Выражение (36) и является как раз функционалом о котором выше шла речь. Он был определен нами пока лишь для функций представимых конечным рядой. Однако его можно определить для любых функций в том числе и представимых бесконечным рядом, для которых выражение

существует. Именно это выражение при определенной формулой (33), и служит основным функционалом при рассмотрении в главах V—VII конкретных алгоритмов метода потенциальных функций. Непосредственно видно, что . Вопрос о том, при каких условиях и в каком смысле функционал (37) минимизируется процедурой (11), (12), рассматривается в последующих главах.

Выше было получено выражение для функционала, минимизируемого процедурой (!), при и при определяемом выражением (10). Точно таким же образом может быть получено выражение для

минимизируемого функционала в случае, когда по-прежнему определяется соотношением (10), а

Формула (35) сохраняется и в этом случае, если только положить в ней

где функция определяется по-прежнему формулой (33). Минимизируемый функционал имеет в этом случае вид

где аддитивную константу удобно выбирать так, чтобы при функционал обращался в нуль.

1
Оглавление
email@scask.ru