Главная > Принципы распознавания образов
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

7.5. ВЫБОР ПРИЗНАКОВ ПРИ ПОМОЩИ МИНИМИЗАЦИИ ЭНТРОПИИ

Энтропия представляет собой статистическую меру неопределенности. Хорошей мерой внутреннего разнообразия для заданного семейства векторов образов служит энтропия совокупности, определяемая как

где — плотность вероятности совокупности образов, а — оператор математического ожидания плотности . Понятие энтропии удобно использовать в качестве критерия при организации оптимального выбора признаков. Признаки, уменьшающие неопределенность заданной ситуации, считаются более информативными, чем те, которые приводят к противоположном.

результату. Таким образом, если считать энтропию мерой неопределенности, то разумным правилом является выбор признаков, обеспечивающих минимизацию энтропии рассматриваемых классов. Поскольку это правило эквивалентно минимизации дисперсии в различных совокупностях образов, то вполне можно ожидать, что соответствующая процедура будет обладать кластеризационными свойствами.

Рассмотрим М классов, соответствующие совокупности образов которых характеризуются плотностями распределения . В силу (7.5.1) энтропия совокупности образов определяется как

где интегрирование осуществляется по пространству образов. Очевидно, что при т. е. при отсутствии неопределенности, имеем в полном соответствии с данной выше интерпретацией понятия энтропии.

Далее будет предполагаться, что каждая из М совокупностей образов характеризуется плотностью нормального распределения , где и — соответственно вектор математического ожидания и ковариационная матрица совокупности образов (см. гл. 4). Кроме того, будет предполагаться, что ковариационные матрицы, описывающие статистические характеристики всех М классов, идентичны. Этот случай возникает, если каждый образ, принадлежащий некоторому классу, является случайным вектором, полученным в результате наложения случайного вектора на неслучайный. Наложенные случайные векторы, что характерно для многих приложений, выбираются из одной и той же нормально распределенной совокупности.

Основная идея, лежащая в основе рассматриваемых в данном параграфе методов, с учетом введенных допущений заключается в определении матрицы линейного преобразования А, переводящей заданные векторы образов в новые векторы меньшей размерности — изображения. Это преобразование можно представить как

причем матрица преобразования отыскивается при помощи минимизации энтропий совокупностей образов, входящих в рассматриваемые классы. Здесь вектор размерности — отображенный вектор, имеющий размерность и А — матрица размерности . Строками матрицы А служат выбранных векторов признаков представляющих

собой вектор-строки. Таким образом, матрица А имеет вид

Задача состоит в определении такого способа выбора векторов признаков, чтобы вектор преобразовывался в изображение у и одновременно минимизировалась величина энтропии, определяемой формулой (7.5.2).

Многомерное нормальное распределение полностью определяется вектором математического ожидания и ковариационной матрицей. Эта матрица в свою очередь определяется характеристическими числами и собственными векторами. Последние можно рассматривать как векторы, представляющие свойства рассматриваемых образов. Часть из этих векторов свойств содержит меньше информации, ценной для распознавания, чем другие векторы, и поэтому ими можно пренебречь. Это явление приводит к процедуре выбора признаков, предусматривающей использование наиболее важных векторов свойств в качестве векторов-признаков. Такие векторы-признакн можно затем использовать для формирования матрицы преобразования А. Один из подходов к выбору векторов-признаков, использующий принцип минимума энтропии, состоит в следующем.

В силу предположения о равенстве всех ковариационных матриц положим и получим следующее выражение для плотности нормального распределения образов класса:

Вектор математического ожидания для изображений у, обозначенный через определяется, согласно (7.5.3), как

Положив из (7.5.6) получаем, что

В таком случае ковариационная матрица для изображений равна

так как

Плотность распределения для изображений определяется, исходя из (7.5.6) и (7.5.9), как

Энтропия изображений равна

Подстановка выражения для плотности распределения (7.5.10) в выражение для энтропии (7.5.11) и минимизация относительно собственных векторов ковариационной матрицы С позволяют сформулировать следующий результат:

Функция энтропии принимает минимальное значение, если матрица преобразования А составлена из нормированных собственных векторов, соответствующих наименьшим характеристическим числам ковариационной матрицы С.

Применяя этот результат, надо иметь в виду, что число векторов, используемых для формирования матрицы А, должно быть достаточно большим, чтобы изображения несли достаточное количество различительной информации.

Следует четко представлять себе разницу между выбором и выделением признаков. В данном параграфе процедура выбора признаков сводится к выбору в качестве признаков собственных векторов ковариационной матрицы С, удовлетворяющих сформулированным выше условиям. Процедура выделения признаков состоит в определении характеристических чисел и собственных векторов ковариационной матрицы С по обучающей выборке.

Пример. Проиллюстрируем описанную процедуру простым примером. Допустим, что требуется понизить размерность образов, представленных на рис. 7.1, а, с помощью преобразования,

(кликните для просмотра скана)

(кликните для просмотра скана)

Характеристические числа ковариационной матрицы С равны

Поскольку ковариационная матрица — симметрическая, то всегда можно определить набор действительных ортогональных собственных векторов независимо от кратности характеристических чисел. Нормированные собственные векторы, соответствующие этим характеристическим числам, имеют вид

где собственные векторы соответствуют характеристическим числам в указанной последовательности. Выбор собственных векторов приводит к матрице преобразования

Выбор собственных векторов столь же оправдан, так как собственные векторы соответствуют одинаковым характеристическим числам.

Изображения, полученные в результате преобразования имеют следующий вид:

Образы с пониженной размерностью представлены на рис. 7.1,б. Интересно отметить эффект кластеризации, полученный после этого преобразования. Читатель может без труда убедиться

в том, что при перестановке собственных векторов в матрице А мы придем к тому же результату. Единственным отличием будет соответствующая перестановка компонент вектора у.

Дальнейшего понижения размерности можно добиться, используя для матрицы А только собственный вектор

Применение этого преобразования к исходным образам приводит к новым изображениям:

Образы пониженной размерности представлены на рис. 7.1, в. На этом рисунке снова отчетливо виден эффект кластеризации, возникающий в результате преобразования, минимизирующего энтропию.

1
Оглавление
email@scask.ru