Главная > Теория передачи сигналов
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

2.9. ВЗАИМНАЯ ИНФОРМАЦИЯ

Энтропия ансамбля характеризует среднее количество полной информации, содержащейся в сообщении. Определим теперь информацию, содержащуюся в одном ансамбле относительно другого, например в принятом сигнале относительно переданного сообщения. Для этого рассмотрим объединение двух дискретных ансамблей, вообще говоря, зависимых. Его можно интерпретировать как пару ансамблей сообщений, либо как ансамбли сообщения и сигнала, с помощью которого сообщение передается, либо как ансамбли сигналов на входе и выходе канала связи и т. д. Пусть совместная вероятность реализаций а и Совместной энтропией ансамблей будем называть

Введем также понятие условной энтропии

где условная вероятность если имеет место здесь математические ожидания берутся по объединенному ансамблю В частности, для источников без памяти

Из теоремы умножения вероятностей следует, что

Для условной энтропии справедливо двойное неравенство

При этом равенство как видно из (2.131), имеет место в том случае, когда при каждом значении условная вероятность одной реализации а для всех остальных реализаций Это означает, что, зная реализацию В, можно точно установить реализацию А. Другими словами, В содержит полную информацию об А.

Другой крайний случай, когда имеет место, если при всех а и Последнее равенство означает, что события независимы. В этом случае знание реали-, Зации В не уменьшает неопределенности А, т. е. В не содержит никакой информации об А.

В общем случае условная энтропия меньше безусловной и знание реализации В снижает в среднем первоначальную неопределенность А. Естественно назвать разность количеством информации, содержащейся в В относительно А. Ее называют также взаимной информацией между и обозначают

Подставляя сюда (2.121) и (2.131), выразим взаимную информацию через распределения вероятностей:

Если воспользоваться теоремой умножения то можно записать в симметричной форме:

Сформулируем основные свойства взаимной информации:

причем равенство имеет место тогда и только тогда, когда независимы между собой. Это следует из определения (2.135) и неравенства (2.134).

т. е. В содержит столько же информации относительно А, сколько А содержит относительно В. Это свойство вытекает из симметрии выражения (2.137). Поэтому можно также записать

причем равенство имеет место, когда по реализации В можно однозначно восстановить А. Это следует из (2.135) и (2.134).

причем равенство имеет место, когда по реализации А можно точно установить реализацию В. Это вытекает из (2.139) и (2.141).

5. Полагая в и учитывая, что получим

Это позволяет интерпретировать энтропию источника как его собственную информацию, т. е. информацию, содержащуюся в ансамбле А о самом себе.

Пусть, например, А — ансамбль дискретных сообщений, ансамбль дискретных сигналов, в которые преобразуются сообщения А. Тогда в том и только в том случае, когда преобразование обратимо. При необратимом преобразовании и разность можно назвать потерей информации при преобразовании Ее называют также ненадежностью. Таким образом, информация не теряется только при обратимых преобразованиях.

Если среднее время передачи одного сообщения, то, разделив формулы на и обозначая

и т. д., получим соответствующие равенства для энтропий и количества информации, рассчитанных не на одно сообщение, а на единицу времени. Величина называется скоростью передачи информации от к В (или наоборот).

Если, например, ансамбль сигналов на входе дискретного канала, ансамбль сигналов на его выходе, то скорость передачи информации по каналу выразится следующим образом:

Эти соотношения наглядно иллюстрируются на рис. 2.16. Здесь производительность источника передаваемого сигнала «производительность» канала, т. е. полная собственная информация в принятом сигнале за единицу времени. Величина представляет собой скорость «утечки» информации при прохождении через канал, а скорость передачи посторонней информации, не имеющей отношения к и создаваемой присутствующими в канале помехами.

Рис. 2.16. Иллюстрация передачи информации по каналу с помехами

Соотношение между зависит от свойств канала. Так, например, при передаче телефонного сигнала по каналу с узкой полосой пропускания, недостаточной для удовлетворительного воспроизведения сигнала, и с низким уровнем помех теряется часть полезной информации, но почти не получается бесполезной. В этом случае Если же сигнал воспроизводится хорошо, но в паузах ясно прослушиваются «наводки» от соседнего телефонного канала, то, почти не теряя полезной информации, можно получить много дополнительной, как правило, бесполезной информации и

1
Оглавление
email@scask.ru