Главная > Теория информации
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

5.11. Энтропия комбинированного марковского процесса, условного процесса и части компонент марковского процесса

1. На случай непрерывного времени могут быть обобщены результаты и методы, изложенные в § 5.3. Предполагается, что совокупный процесс является марковским. Теория марковских процессов позволяет вычислять энтропию где вероятностная мера, относительно которой мера Р является абсолютно непрерывной. Меру удобно подбирать таким образом, чтобы процессы были для этой меры независимыми:

и марковскими, т. е. чтобы

Тогда будут справедливы соотношения

аналогичные соотношениям (5,3.1), (5.3.6), (5.2.5) дискретной версии.

В случае непрерывного времени удобно ввести энтропийные плотности

Полагая в (5.11.1) сначала а затем взяв разность этих выражений и используя свойство аддитивности типа (1.7.18), получаем соотношение

Поделив на и перейдя к пределу получим соотношение

Аналогичное соотношение

справедливо, очевидно, и для другой пары энтропийных плотностей

В стационарном случае плотность как видно из (5.11.4), не зависит от Другие энтропийные плотности при этом целесообразно определить с помощью дополнительного предельного перехода В этом случае энтропии будут строго пропорциональны и предельный переход станет излишним. Формулы (5.11.5), (5.11.6) заменяются следующими:

(и аналогично для другой пары При этом соотношения (5.11.8), (5.11.9) сохраняют свое значение. Все эти энтропийные плотности в стационарном случае будут постоянными. Можно доказать, что они совпадают с удельными энтропиями, т. е. доказать равенства:

Можно доказать кроме того, что для плотности аналогично для в стационарном случае справедлива формула

Все эти утверждения распространяют на случай непрерывного времени соответствующие утверждения, доказанные в § 5.3.

Обобщая методы § 5.3, можно вычислить энтропию или ее плотность для части компонент марковского процесса и энтропию или условного марковского процесса а также аналогичные энтропии Ну

Рассмотрим энтропию Ее можно представить

в таком виде:

Тогда имеем

В силу условия Маркова указанное равенство можно записать так:

где обозначено

Подставляя (5.11.11) в (5.11.10), получаем формулу

Если апостериорную меру трактовать как распределение в комбинированном пространстве (см. (5.3.17)), то формула

(5.11.12) запишется в виде

или

где усреднение М проводится только по случайным переменным образующим вторичный апостериорный -процесс, являющийся марковским процессом с известными вероятностями перехода.

Формулы (5.11.12), (5.11.12а) являются обобщением формул (5.3.15), (5.3.16) дискретной версии. Они справедливы при любых но для вычисления ими удобнее пользоваться при малых Это будет видно из рассматриваемых ниже частных случаев.

2. Пусть теперь марковский процесс с дискретным числом состояний, подобный процессу, рассмотренному в § 5.9. Он характеризуется введенной в § 5.9 дифференциальной матрицей перехода определяющей вероятности перехода Выбирая в качестве пуассоновскую меру для точек перехода, получаем плотность энтропии Нррг

Процесс пусть строится следующим образом. Задан зависящий не только от но и от вектор сносов а также матрица локальных дисперсий Последнюю предполагаем невырожденной и не зависящей от

Тогда при фиксированной реализации процесс будет диффузионным процессом, рассмотренным в § 5.10. Применяя полученные там результаты, мы можем найти плотность энтропии В качестве меры выбираем меру диффузионнонного процесса с нулевыми сносами и с той же матрицей локальных дисперсий В соответствии с (5.10.12) имеем

Для получения плотности энтропии остается в (5.11.14) произвести дополнительное усреднение по

В силу аддитивности (5.11.2), (5.11.9) тем самым найдена энтропийная плотность для комбинированного марковского процесса Именно, в (5.11.9) следует подставить выражения (5.11.13), (5.11.15).

Другие энтропийные плотности согласно (5.11.1) связаны аналогичным соотношением (5.11.8). Поэтому для завершения вычисления всех плотностей остается вычислить одну из них.

Описанный выше процесс (при нефиксированной реализации является немарковским процессом. Соответствующую ему энтропию вычислим, используя формулу (5.11.12).

При малых из (5.10.11) имеем

Подставляя это выражение в (5.11.11) и для краткости обозначая будем иметь

Согласно (5.11.10), (5.11.12) следует взять логарифм от последнего выражения. При его логарифмировании нужно оставить лишь следующие члены:

Усреднение его будем проводить в несколько этапов: сначала усредним по при фиксированных потом по (с весом при фиксированных и в последнюю очередь по или, что то же самое, по На первом этапе усреднения нужно учесть формулы

так что

Дальнейшее усреднение приведет к результату

Совершая предельный переход найдем

Найти входящее сюда распределение помогает то обстоятельство, что переменные образуют марковский процесс, названный в монографии Стратоновича [4] вторичным апостериорным -процессом. Там найдено уравнение Фоккера — Планка, которому удовлетворяет плотность распределения вероятностей процесса Оно имеет вид

Указанные результаты справедливы как в стационарном, так и в нестационарном случае. В стационарном случае функции не зависят от времени. Плотность энтропии при этом постоянна и вычисляется по формуле (5.11.17) при помощи стационарного распределения являющегося решением стационарного уравнения (5.11.18), в котором следует положить

По аналогии с (5.3.17) вместо можно рассматривать как распределение во всем «фазовом пространстве» марковского процесса (такой процесс будет марковским). Тогда формулу (5.11.17) можно будет записать следующим образом:

Итак, удельная энтропия а значит и энтропия вычисляется методами, использующими результаты теории условных марковских процессов.

Пример. Пусть процесс с двумя состояниями и матрицей перехода (5.9.6). В § 5.9 была найдена соответствующая ему удельная энтропия

Процесс определим как одномерный диффузионный процесс с постоянной локальной дисперсией и с не зависящими от у и но зависящими от х сносами

Тогда формула (5.11.15) дает

или

если учесть (5.9.7).

Сумма выражений (5.11.19), (5.11.20) дает удельную энтропию комбинированного процесса.

Перейдем к вычислению удельной энтропии для данного примера. Вводя переменную средний снос а можно представить в виде

Подставляя это выражение в (5.11.17), имеем

Нетрудно понять, что усреднение апостериорных вероятностей приводит к априорным вероятностям которые в стационарном случае имеют вид (5.9.7). Поэтому

и формулу (5.11.21) можно преобразовать к виду

или

Процесс в данном случае является марковским сам по себе. Ему соответствует уравнение Фоккера — Планка

вытекающее из (5.11.18).

Приравнивая производную нулю и интегрируя получающееся уравнение, получаем стационарную плотность распределения вероятностей

Входящий в выражение (5.11.22) интеграл с этой плотностью распределения был вычислен в [4] и оказался равным

где функция Макдонольда (Рыжик И. М., Градштейн И. С. [1]).

Подстановка (5.11.24) в (5.11.22) решает задачу вычисления удельной энтропии стационарного немарковского процесса у. Комбинируя (5.11.19),. (5.11.20), (5.11.22), легко найти энтропию условного марковского процесса

3. Изложенный выше вывод формулы (5.11.17) применим и в других случаях, например, когда процесс является диффузионным марковским процессом или образует часть компонент комбинированного диффузионного марковского процесса Рассмотрим последний случай подробнее. Пусть комбинированный марковский процесс, имеющий компоненты

описывается вектором сносов -матрицей локальных дисперсий Предполагается, что подматрица последней является невырожденной и независящей от х.

Тогда по аналогии с (5.11.17) справедлива формула

где усреднение соответствует усреднению с апостериорной плотностью вероятности

которая удовлетворяет полученному в указанной монографии [4] уравнению

Второе усреднение в (5.11.25) соответствует усреднению по марковскому процессу как стационарному случайному процессу.

4. До сих пор процесс предполагался диффузионным Аналогичные результаты можно получить, скажем для того случая, когда процесс есть процесс с конечным или счетным числом состояний.

Пусть марковский процесс с матрицей перехода подобный процессу в При фиксированной реализации процесс пусть является марковским процессом с дискретными состояниями, описываемыми дифференциальными вероятностями перехода зависящими от Тогда комбинированный процесс также будет марковским процессом с дискретными состояниями. Ему будет соответствовать дифференциальная матрица перехода

В данном случае энтропия процесса и энтропия комбинированного процесса могут быть подсчитаны путем применения формулы (5.9.4). Подсчет энтропии или ее плотности требует особого рассмотрения, поскольку процесс взятый в отдельности, является немарковским.

В принципиальном отношении соответствующий расчет может быть проведен так же, как и в п. 2. Воспользуемся формулой (5.11.12), выбирая теперь в качестве меры пуассоновскую меру (для моментов перескока процесса с единичной плотностью. При малом х будем иметь

Подставляя это выражение в (5.11.12), находим

Здесь, в первую очередь, произведено усреднение по затем усреднение по с весом а потом усреднение по прочим переменным.

Из (5.11.27) вытекает следующая формула для энтропийной плотности:

Отличие этой формулы от формулы

(т. е. от формулы (5.9.4), взятой при в том, что заменены на апостериорные средние

и имеется усреднение не по с весом а усреднение по с весом Процесс является вторичным апостериорным марковским процессом и для него нетрудно найти вероятности перехода, которые определяют, в частности, стационарное распределение

Формулу (5.11.28) интересно сравнить с условной энтропией

Это выражение мы записали по аналогии с (5.11.29), считая значение фиксированным, а затем усредняя по нему.

Изложенный метод вычисления плотности энтропии может быть распространен и на случай, когда процесс в отдельности не является марковским, а марковским процессом (с дискретными состояниями) является комбинированный процесс Пусть он описывается дифференциальной матрицей перехода В этом случае вид результирующей формулы (5.11.28) остается без изменения. Аналогично вычисляется и

Из вышеизложенного видно, что описанный метод вычисления энтропии для части компонент марковского процесса имеет широкую область применения. В нем наиболее трудным этапом является отыскание распределения для вторичного апостериорного Н-процесса.

1
Оглавление
email@scask.ru