Главная > Распознавание образов и анализ сцен
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

3.6. ДОСТАТОЧНЫЕ СТАТИСТИКИ

На практике формальное решение задачи, задаваемое (14), (34) и (35), лишено привлекательности из-за большого объема вычислений. В задачах классификации образов нередко приходится иметь дело с десятками и сотнями неизвестных параметров и тысячами выборок, что крайне затрудняет непосредственное вычисление и составление таблиц для или Вся надежда на то, что для преодоления трудности вычислений можно будет найти параметрическую форму которая, с одной стороны, будет соответствовать. существу поставленной задачи, а с другой стороны, даст возможность получить удовлетворительное аналитическое решение.

Рассмотрим, какого рода упрощения можно достичь при решении задачи обучения среднему значению в случае многих нормально распределенных переменных. Если предположить, что априорная плотность нормальна, то апостериорная плотность также будет нормальной. В равной степени важно и то, что, согласно (31) и (32), главная цель наших действий по обработке данных — это просто вычисление выборочного среднего . В этой статистике, вычисление которой не требует сложных математических преобразований, содержится вся информация, получаемая из выборок и требуемая для получения неизвестного среднего по множеству. Может показаться, что простота эта связана всего лишь с еще одним хорошим свойством, присущим именно нормальному распределению, а в других случаях ее трудно было бы ожидать. Хотя это в большой степени и верно, однако существует группа распределений, для которых можно получить решения, удобные с точки зрения вычислений, причем простота их применения заложена в понятии достаточной статистики.

Прежде всего заметим, что любая функция выборок является статистикой. Грубо говоря, достаточная статистика s есть такая

функция выборок , которая содержит полную информацию об оценке некоторого параметра Интуитивно может показаться, что под этим определением достаточной статистики подразумевается удовлетворение требованию Отсюда, однако, последует необходимость обращения с как случайной величиной, из-за чего придется ограничиться байесовским подходом. Стандартное определение поэтому формулируется в следующем виде: говорят, что статистика s будет достаточной для , если не зависит от . Полагая случайной величиной, можно написать

откуда становится очевидным, что если s достаточна для . И обратно, если s есть статистика, для которой , и если то легко показать, что не зависит от . Таким образом, интуитивное и стандартное определения, по сути дела, эквивалентны.

Основной теоремой для достаточных статистик является теорема факторизации, которая утверждает, что s достаточна для тогда и только тогда, когда можно представить как произведение двух функций, одна из которых зависит только от s и , а другая — только от выборок. К достоинствам теоремы следует отнести то, что при определении достаточной статистика она позволяет вместо рассмотрения сравнительно сложной плотности воспользоваться более простой функцией вида

К тому же, согласно теореме факторизации, выясняется, что свойства достаточной статистики полностью определяются плотностью и не связаны с удачным выбором априорной плотности Доказательство теоремы факторизации для непрерывного случая несколько затруднительно, так как включает вырожденные ситуации. В связи с тем что это доказательство все же представляет определенный интерес, мы приведем его для простейшего дискретного случая.

Теорема факторизации. Статистика s достаточна для тогда и только тогда, когда вероятность можно записать в виде произведения

    (37)

Доказательство, а) Допустим сначала, что s достаточна для , т. е. не зависит от . Так как наша цель состоит

в том, чтобы показать, что можно представить в виде произведения, сосредоточим внимание на выражении через . Проделаем это, суммируя совместные вероятности для всех значений

Но, поскольку возможно лишь одно значение для s, так что

Кроме того, так как, согласно предположению, не зависит от , первый множитель зависит только от X. Отождествляя , можно видеть, что вероятность представима в виде произведения, что и требовалось доказать.

б) Для того чтобы показать, что из существования представления в виде произведения следует достаточность статистики s для , надо показать, что такое представление означает независимость условной вероятности от . Так как то установление величины s сводит возможные множества выборок к некоторому множеству . Формально это означает, что . Если пусто, то никакие заданные значения выборок не могут привести к требуемой величине s, и Исключив такие случаи, т. е. рассматривая только те значения s, которые могут быть получены, придем к выражению

Знаменатель выражения можно вычислить, просуммировав значения числителя для всех значений . Так как числитель будет равен нулю в случае , то можно ограничиться суммированием только для . Таким образом,

Но в соответствии с соображениями, которыми мы руководствовались ранее, , так как . Кроме того, следует иметь в виду, что, согласно принятой гипотезе, Таким образом, приходим к выражению

которое не зависит от . Отсюда, согласно определению, s достаточна для .

Как будет показано, существуют простые способы построения достаточных статистик. Например, можно определить s как вектор, компоненты которого представлены выборками так что Можно даже построить скалярную достаточную статистику, пользуясь приемом вписания цифр в десятичных разложениях компонент для выборок. Достаточные статистики такого сорта существенного интереса не представляют, так как не приводят к более простым результатам. Возможность представления функции в виде произведения интересна только в случае, когда функция g и достаточная статистика s просты.

Следует также заметить, что выражение в виде произведения очевидно, не единственно. Если есть любая функция от s, то есть эквивалентные множители. Такого рода неопределенность можно исключить, введя понятие ядра плотности

которое инвариантно для этого вида оценок.

Каково же значение достаточных статистик и ядер плотности при оценке параметров? Общий ответ состоит в том, что функции плотности, содержащие достаточные статистики и простые ядра плотности, используются при практическом оценивании параметров для классификации образов. В случае оценки по максимуму правдоподобия, когда отыскивается величина 0, которая максимизирует можно вполне удовлетвориться величиной . В этом случае нормирование посредством (38) не дает больших преимуществ, если не проще, чем Удобство применения ядра плотности выявляется в байесовском случае. Если подставить в , то получим

Если наше апостериорное знание о очень неопределенно, то близка к постоянной, мало меняясь с изменением 0. Если близка к равномерной, то примерно равна ядру плотности. Грубо говоря, ядро плотности представляет апостериорное

распределение параметрического вектора в случае, когда априорное распределение равномерно. Даже когда априорное распределение сильно отличается от равномерного, ядро плотности обычно дает асимптотическое распределение вектора параметров. В частности, когда не дифференцируема и число выборок велико, обычно имеет острый пик при некотором значении . Если априорная плотность непрерывна при не равна нулю, то функция приближается к ядру плотности

1
Оглавление
email@scask.ru