Главная > Теория информации
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

5.7. Энтропия гауссового процесса в непрерывном времени

1. Гауссов случайный процесс при непрерывном времени подобно случайным величинам, рассмотренным в § 5.4, характеризуется вектором средних значений и корреляционной матрицей

Разница лишь в том, что теперь вектор представляет собой заданную на интервале функцию от тогда как в § 5.4 вектор состоял из компонент. Матрица (скажем,

теперь является функцией двух переменных определяющей линейное преобразование

вектора На этот случай, как известно, могут быть перенесены все основные результаты теории конечномерных векторов. При этом требуется произвести такое тривиальное видоизменение формул, как замена суммы на интеграл и т. п. С описанными видоизменениями на случай непрерывного времени могут быть распространены изложенные в § 5.4 методы вычисления энтропии. Результирующие матричные формулы (5.4.8а), (5.4.13) сохраняют свое значение при новом понимании матриц и векторов.

Разумеется, указанные выражения теперь не обязаны быть конечными. Условие их конечности связано с условием абсолютной непрерывности меры Р относительно меры или

При обобщенном понимании векторов и матриц формулы (5.4.8а), (5.4.13) справедливы как для конечных, так и для бесконечных интервалов определения процесса для стационарного и для нестационарного случаев. В дальнейшем мы ограничимся рассмотрением стационарных процессов и вычислим для них удельные энтропии

Для этой цели может быть применен прием, использованный в § 5.5, заключающийся в переходе к периодическому стационарному процессу. Рассматривая на интервале процесс, имеющий корреляционную функцию можно сконструировать новую корреляционную функцию

которая помимо стационарности будет обладать еще свойством периодичности. Формула (5.7.1) аналогична формуле (5.5.14). Такую корреляционную функцию имеет процесс

в пределе при

Стационарная периодическая матрица типа (5.7.1) лиагонализуется унитарным преобразованием имеющим матрицу

При этом собственные значения матрицы оказываются такими:

Если учесть (5.7.1), то отсюда будем иметь

где через обозначена спектральная плотность

процесса

Подставляя (5.7.2) в (5.4.8а), получаем

Перейдем к энтропии которая находится по формуле (5.4.13). Эту формулу удобно применить после диагонализации матриц Тогда

где

по аналогии с (5.7.2), (5.7.3). Второй член в правой части (5.4.13) после диагонализации примет вид

Поскольку

то из (5.4.13) вследствие (5.7.5), (5.7.7) будем иметь

Сумма по в правой части (5.7.8) содержит бесконечное число членов. Чтобы ряд сходился к конечному пределу, необходимо чтобы отношение стремилось к 1 при так как функция обращается в нуль (в области положительных значений лишь при Вблизи точки функция ведет себя так:

Поэтому при выполнении условий

энтропия (5.7.8) оказывается конечной, что свидетельствует об абсолютной непрерывности меры Р относительно

2. Перейдем к вычислению удельной энтропии для стационарного процесса, заданного на бесконечной временной оси. Поскольку замена корреляционной функции оказывает существенное влияние лишь на граничные эффекты, то энтропии (5.7.4), (5.7.8) отличаются от энтропии, соответствующих корреляционной функции величиной порядка 1, а не порядка Поэтому найденные выражения (5.7.4), (5.7.8) можно использовать для вычисления удельной энтропии

Итак, в полученных формулах следует совершить предельный переход При этом суммы по гобратятся в интеграл. Из (5.7.4) будем иметь

а (5.7.8) даст

Эти результаты можно получить также из формул (5.5.17), (5,5.18), определяющих удельную энтропию стационарных

последовательностей как предельный результат при неограниченном уплотнении точек на временной оси. Выбрав точки из стационарного гауссова процесса в непрерывном времени можно получить стационарную гауссову последовательность которая будет иметь корреляционную матрицу

и те же средние значения Сравнивая формулу (5.5.15) с (5.7.3), нетрудно видеть, что

т. е. функции связаны между собой соотношением

Относя энтропию не к одному элементу последовательности, а к единице времени, имеем

Подставляя сюда (5.5.17), (5.5.18) при учете равенства (5.7.12) и аналогичного равенства для получаем

Формула (5.7.14) совпадает с (5.7.11), отличается от (5.7.10) членом , который может быть отнесен к соответствующим образом подобранной мере Пользуясь свободой выбора меры можно представить формулы (5.7.10), (5.7. 13) в другой, более удобной форме. Предположим, что спектральная плотность стремится при к конечному отличному от нуля пределу

Учитывая, что согласно будем иметь, следовательно, что при фиксированном в процессе предельного перехода значение будет стремиться к Это предельное значение целесообразно выделить, записав формулу (5.5.16) в виде

Определим теперь меру не формулой (5.4.4), а формулой

Тогда первый член в (5.7.15) будет отнесен к мере и вместо (5.7.15) будем иметь

Соответственно этому формула (5.5.17) заменится формулой

а из последней по аналогии с (5.7.13) получим

Здесь подынтегральное выражение стремится к нулю при Поскольку то интеграл в (5.7.18) сходится, если

(с — некоторое число). Таким образом, мы получаем для удельной энтропии конечное значение, если выполняется условие (5.7.19) и все особенности спектральной плотности (где она обращается в бесконечность или нуль) являются логарифмически интегрируемыми, как, например, нули и полюса вида

При выполнении этих условий мера Р является абсолютно непрерывной относительно специальным образом сконструированной меры определенной соотношением (5.7.16) и условием мультипликативности.

Условие сходимости другого интеграла (5.7.11) в верхнем пределе имеет вид

аналогичный (5.7.9). Оно является необходимым условием абсолютной непрерывности меры Р относительно

Если для меры выполнено условие мультипликативности то (в стационарном случае) ее корреляционная матрица должна быть кратна единичной матрице, а спектральная плотность постоянна; Для абсолютной непрерывности необходимо равенство следовательно, Подставляя это значение в (5.7.11), получаем при совпадающих средних формулу

Сходство последней с (5.7.18) является очевидным, различие заключается лишь в выборе подынтегральной функции.

Пример 1. Пусть имеется стационарный гауссов процесс со спектральной плотностью

Вычислим для него удельные энтропии. Поскольку то в соответствии с (5.7.18) имеем

Применяя далее формулу (5.7.20), находим

Граничная энтропия Г, входящая в соотношения (5.6.17), (5.6.18), может быть вычислена методом, который предложен Стратоновичем [61. Для данного примера она оказывается такой:

Пример 2. Пусть теперь рассматриваемый процесс имеет спектральную плотность Тогда применение формулы (5.7.18) не дает конечного результата. Чтобы получить конечную удельную энтропию по формуле (5.7.14), нужно подобрать подходящую спектральную плотность Положим

Тогда интеграл в (5.7.14) сведется к интегралам, стоящим в (5.7.21) (при ), и мы будем иметь

При выборе спектральной плотности (5.7.22) мера описывающая случайный процесс не удовлетворяет условию мультипликативности. Однако это условие будет выполнено для производной так как последняя будет иметь равномерную спектральную плотность 50. При переходе к произйодной процесс также нужно заменить на его производную Можно считать поэтому, что результат (5.7.23) согласуется с условием мультипликативности.

3. Для стационарного гауссового процесса, как и для гауссовой последовательности (см. § 5.4., п. 3), из линейного роста дисперсии с ростом Т при условии линейного нарастания средней энтропии вытекает выполнение условия энтропийной устойчивости (1.5.8). Поэтому в случае ненулевой конечной удельной энтропии для доказательства энтропийной устойчивости следует проверить конечность предела

Чтобы его вычислить, нужно применить формулу (5.4.17). Диагонализуя входящие в нее матрицы, нетрудно получить (подобно тому, как из (5.4.13) было получено выражение следующее равенство:

Оно является обобщением на случай непрерывного времени равенства (5.5.22). Условие конечности интеграла в (5.7.24), очевидно, связано с указанным ранее условием (5.7.19а). Таким образом, условие энтропийной устойчивости для гауссовых мер оказывается тесно связанным с условием абсолютной непрерывности меры Р относительно

Вышеизложенное может быть обобщено и на случай нескольких стационарных и стационарно связанных процессов Которые характеризуются столбцом средних значений и матрицей спектральных плотностей

Так, если мера описывается матрицами то формула, обобщающая формулу (5.7.14), имеет вид

Очевидна аналогия этой формулы с (5.5.20).

1
Оглавление
email@scask.ru