Главная > Теория вероятностей
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

18.7. Энтропия и информация для систем с непрерывным множеством состояний

До сих пор мы рассматривали физические системы, различные состояния которых  можно было все перечислить; вероятности этих состояний были какие-то отличные от нуля величины . Такие системы аналогичны прерывным (дискретным) случайным величинам, принимающим значения  с вероятностями . На практике часто встречаются физические системы другого типа, аналогичные непрерывным случайным величинам. Состояния таких систем нельзя перенумеровать: они непрерывно переходят одно в другое, причем каждое отдельное состояние имеет вероятность, равную нулю, а распределение вероятностей характеризуется некоторой плотностью. Такие системы, по аналогии с непрерывными случайными величинами, мы будем называть «непрерывными», в отличие от ранее рассмотренных, которые мы будем называть «дискретными». Наиболее простой пример непрерывной системы - это система, состояние которой описывается одной непрерывной случайной величиной  с плотностью распределения . В более сложных случаях состояние системы описывается несколькими случайными величинами  с плотностью распределения . Тогда ее можно рассматривать как объединение  простых систем .

Рассмотрим простую систему , определяемую одной непрерывной случайной величиной  с плотностью распределения  (рис. 18.7.1). Попытаемся распространить на эту систему введенное в  18.1 понятие энтропии.

image11

Рис. 18.7.1.

Прежде всего отметим, что понятие «непрерывной системы», как и понятие «непрерывной случайной величины», является некоторой идеализацией. Например, когда мы считаем величину  - рост наугад взятого человека - непрерывной случайной величиной, мы отвлекаемся от того, что фактически никто не измеряет рост точнее, чем до 1 см, и что различить между собой два значения роста, разнящиеся, скажем, на 1 мм, практически невозможно. Тем не менее, данную случайную величину естественно описывать как непрерывную, хотя можно было бы описать ее и как дискретную, считая совпадающими те значения роста, которые различаются менее чем на 1 см.

Точно таким образом, установив предел точности измерений, т. е. некоторый отрезок , в пределах которого состояния системы  практически неразличимы, можно приближенно свести непрерывную систему  к дискретной. Это равносильно замене плавной кривой  ступенчатой, типа гистограммы (рис. 18.7.2); при этом каждый участок (разряд) длины  заменяется одной точкой-представителем.

image10

Рис. 18.7.2.

Площади прямоугольников изображают вероятности попадания в соответствующие разряды: . Если условиться считать неразличимыми состояния системы, относящиеся к одному разряду, и объединить их все в одно состояние, то можно приближенно определить энтропию системы , рассматриваемой с точностью до :

.                  (18.7.1)

При достаточно малом :

,

и формула (18.7.1) принимает вид:

.                 (18.7.2)

Заметим, что в выражении (18.7.2) первый член получился совсем не зависящим от  - степени точности определения состояний системы. Зависит от  только второй член , который стремится к бесконечности при . Это и естественно, так как чем точнее мы хотим задать состояние системы , тем большую степень неопределенности мы должны устранить, и при неограниченном уменьшении  эта неопределенность растет тоже неограниченно.

Итак, задаваясь произвольно малым «участком нечувствительности»  наших измерительных приборов, с помощью которых определяется состояние физической системы , можно найти энтропию  по формуле (18.7.2), в которой второй член неограниченно растет с уменьшением . Сама энтропия  отличается от этого неограниченно растущего члена на независимую от  величину

.                    (18.7.3)

Эту величину можно назвать «приведенной энтропией» непрерывной системы . Энтропия  выражается через приведенную энтропию  формулой

.              (18.7.4)

Соотношение (18.7.4) можно истолковать следующим образом: от точности измерения  зависит только начало отсчета, при котором вычисляется энтропия.

В дальнейшем для упрощения записи мы будем опускать индекс  в обозначении энтропии и писать просто ; наличие  в правой части всегда укажет, о какой точности идет речь.

Формуле (18.7.2) для энтропии можно придать более компактный вид, если, как мы это делали для прерывных величин, записать ее в виде математического ожидания функции. Прежде всего перепишем (18.7.2) в виде

.              (18.7.5)

Это есть не что иное, как математическое ожидание функции  от случайной величины  с плотностью :

.                       (18.7.6)

Аналогичную форму можно придать величине :

.                             (18.7.7)

Перейдем к определению условной энтропии. Пусть имеются две непрерывные системы:  и . В общем случае эти системы зависимы. Обозначим  плотность распределения для состояний объединенной системы ;  - плотность распределения системы ;  - плотность распределения системы ;  - условные плотности распределения.

Прежде всего определим частную условную энтропию , т. е. энтропию системы  при условии, что система  приняла определенное состояние . Формула для нее будет аналогична (18.4.2), только вместо условных вероятностей  будут стоять условные законы распределения  и появится слагаемое :

.                    (18.7.8)

Перейдем теперь к полной (средней) условной энтропии , для этого нужно осреднить частную условную энтропию  по всем состояниям  с учетом их вероятностей, характеризуемых плотностью :

                 (18.7.9)

или, учитывая, что

,

.             (18.7.10)

Иначе эта формула может быть записана в виде

                     (18.7.11)

или

.                          (18.7.12)

Определив таким образом условную энтропию, покажем, как она применяется при определении энтропии объединенной системы.

Найдем сначала энтропию объединенной системы непосредственно. Если «участками нечувствительности» для систем  и  будут  и , то для объединенной системы  роль их будет играть элементарный прямоугольник . Энтропия системы  будет

.                       (18.7.13)

Так как

,

то и

.                (18.7.14)

Подставим (18.7.14) в (18.7.13):

,

или, по формулам (18.7.6) и (18.7.12)

,                       (18.7.15)

т. е. теорема об энтропии сложной системы остается в силе и для непрерывных систем.

Если  и  независимы, то энтропия объединенной системы равна сумме энтропий составных частей:

.                 (18.7.16)

Пример 1. Найти энтропию непрерывной системы , все состояния которой на каком-то участке  одинаково вероятны:

Решение.

;

или

.                (18.7.17)

Пример 2. Найти энтропию системы , состояния которой распределены по нормальному закону:

.

Решение.

.

Но

,

и

.                   (18.7.18)

Пример 3. Состояние самолета характеризуется тремя случайными величинами: высотой , модулем скорости  и углом , определяющим направление полета. Высота самолета распределена с равномерной плотностью на участке ; скорость  - по нормальному закону с м.о.  и с.к.о. ; угол  - с равномерной плотностью на участке . Величины  независимы. Найти энтропию объединенной системы.

Решение.

Из примера 1 (формула (18.7.17)) имеем

,

где  - «участок нечувствительности» при определении высоты.

Так как энтропия случайной величины не зависит от ее математического ожидания, то для определения энтропии величины  воспользуемся формулой (18.7.18):

.

Энтропия величины :

.

Окончательно имеем:

или

.              (18.7.19)

Заметим, что каждый из сомножителей под знаком фигурной скобки имеет один и тот же смысл: он показывает, сколько «участков нечувствительности» укладывается в некотором характерном для данной случайной величины отрезке. В случае распределения с равномерной плотностью этот участок представляет собой просто участок возможных значений случайной величины; в случае нормального распределения этот участок равен , где  - среднее квадратическое отклонение.

Таким образом, мы распространили понятие энтропии на случай непрерывных систем. Аналогично может быть распространено и понятие информации. При этом неопределенность, связанная с наличием в выражении энтропии неограниченно возрастающего слагаемого, отпадает: при вычислении информации, как разности двух энтропий, эти члены взаимно уничтожаются. Поэтому все виды информации, связанные с непрерывными величинами, оказываются не зависящими от «участка нечувствительности» .

Выражение для полной взаимной информации, содержащейся в двух непрерывных системах  и , будет аналогично выражению (18.5.4), но с заменой вероятностей законами распределения, а сумм - интегралами:

                (18.7.20)

или, применяя знак математического ожидания,

.                     (18.7.21)

Полная взаимная информация  как и в случае дискретных систем, есть неотрицательная величина, обращающаяся в нуль только тогда, когда системы  и  независимы.

Пример 4. На отрезке  выбираются случайным образом, независимо друг от друга, две точки  и , каждая из них распределена на этом отрезке с равномерной плотностью. В результате опыта одна из точек легла правее, другая - левее. Сколько информации о положении правой точки дает значение положения левой?

Решение. Рассмотрим две случайные точки  и  на оси абсцисс  (рис. 18.7.3).

Рис. 18.7.3.

Обозначим  абсциссу той из них, которая оказалась слева, а  - абсциссу той, которая оказалась справа (на рис. 18.7.3 слева оказалась точка , но могло быть и наоборот). Величины  и  определяются через  и  следующим образом

;          .

Найдем закон распределения системы . Так как , то он будет существовать только в области , заштрихованной на рис. 18.7.4.

image12

Рис. 18.7.4.

Обозначим  плотность распределения системы  и найдем элемент вероятности , т. е. вероятность того, что случайная точка  попадет в элементарный прямоугольник . Это событие может произойти двумя способами: либо слева окажется точка , а справа , либо наоборот. Следовательно,

,

где  обозначена плотность распределения системы величин .

В данном случае

                  ,

следовательно,

;

и

Найдем теперь законы распределения отдельных величин, входящих в систему:

  при  ;

аналогично

  при  .

Графики плотностей  и  изображены на рис. 18.7.5.

image13image14

Рис 18.7.5.

Подставляя ,  и  в формулу (18.7.20), получим

.

В силу симметрии задачи последние два интеграла равны, и

 (дв. ед.).

Пример 5. Имеется случайная величина , распределенная по нормальному закону с параметрами , . Величина  измеряется с ошибкой , тоже распределенной по нормальному закону с параметрами , . Ошибка  не зависит от . В нашем распоряжении - результат измерения, т. е. случайная величина

Определить, сколько информации о величине  содержит величина .

Решение. Воспользуемся для вычисления информации формулой (18.7.21), т. е. найдем ее как математическое ожидание случайной величины

.                        (18.7.22)

Для этого сначала преобразуем выражение

.

В нашем случае

,

   (см. главу 9).

Выражение (18.7.22) равно:

.

Отсюда

.               (18.7.23)

Ho , следовательно,

               (18.7.24)

Подставляя (18.7.24) в (18.7.23), получим

 (дв. ед.).

Например, при

 (дв. ед.).

Если ; , то  (дв. ед.).

 

1
Оглавление
email@scask.ru