Главная > Нейронные сети для обработки информации
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

3.8. Элементы глобальной оптимизации

При обучении нейронных сигмоидальных сетей, основанном на минимизации значения целевой функции, даже при решении относительно простых технических задач необходимо учитывать возможность появления большого количества локальных минимумов. Проблемы обучения таких сетей хорошо иллюстрирует следующий пример. Рассмотрим сеть, состоящую из одного нейрона, связанного с входным узлом дугой с весом и с единичным поляризатором дугой с весом Нейрон выполняет функцию классификатора данных, относящихся к двум классам. Имеются обучающие данные в виде . При использовании линейной функции активации нейрона график зависимости целевой функции от весов

принимает вид выпуклой кривой (рис. 3.8 о), единственный минимум которой можно легко рассчитать при любых начальных условиях обучения. Переход к сигмоидальной функции активации принципиально меняет форму целевой функции. Эта ситуация демонстрируется на рис. 3.8 6, причем сигмоидальная функция активации задана в виде гиперболического тангенса. На графике видны многочисленные плоские участки и множество локальных минимумов, которые осложняют процесс обучения и представляют собой ловушки на пути к глобальному минимуму, в котором целевая функция принимает наименьшее значение.

Хотя графики целевой функции, представленные на рис. 3.8, относятся к простейшей однонейронной сети, они хорошо иллюстрируют проблемы, создаваемые нелинейностью функции активации. Увеличение размеров сети создает еще большие сложности, поскольку количество локальных минимумов также возрастает.

Все представленные ранее методы обучения нейронных сетей являются локальными. Они ведут к одному из локальных минимумов целевой функции, лежащему в окрестности точки начала обучения. Только в ситуации, когда значение глобального минимума известно, удается оценить, находится ли найденный локальный минимум в достаточной близости от искомого решения. Если локальное решение признается неудовлетворительным, следует повторить процесс обучения при других начальных значениях весов и с другими управляющими параметрами. Можно либо проигнорировать полученное решение и начать обучение “с чистого листа” при новых (как правило, случайных) значениях весов, либо изменить случайным образом найденное локальное решение и продолжить обучение сети. Последняя методика, имеющая английское название “jog of weights” (встряхивание весов), представляется вполне разумной, поскольку ее применение позволяет использовать полученные ранее результаты обучения [72].

Случайное приращение весов соответствует переходу из точке локального минимума в иную точку пространства целевой функции. Вследствие случайного характера таких приращений переход в новую точку связан с определенной вероятностью того, что возобновление процесса обучения выведет поиск из “сферы притяжения” локального минимума. Случайный выбор значений весов, применяемый как в начале обучения, так и для вывода решения из зоны локального минимума, играет роль стохастического алгоритма, взаимодействующего с детерминированным алгоритмом обучения сети. Однако возмущение весов, вызванное добавлением случайных поправок к ранее найденному решению, не вызывает длительной потери предыдущих результатов обучения. Сеть проявляет интересную способность “запоминания” наилучших результатов и после кратковременной амнезии быстро восстанавливается, а затем и (чаще всего) улучшает предыдущие показатели.

(кликните для просмотра скана)

При решении реальных как технических, так и экономических задач в общем случае даже приблизительная оценка глобального минимума оказывается неизвестной. По этой причине возникает необходимость применения методов глобальной оптимизации. Из множества разработанных в этой области подходов выберем и подробно рассмотрим два: метод имитации отжига и генетические алгоритмы [41, 149].

1
Оглавление
email@scask.ru