Главная > Введение в статистическую оптику
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

§ 2. Представление об энтропии

Рассмотрим теперь более общий случай, когда имеются N исчерпывающих, взаимно исключающих и равновероятных случаев, и из них случаев благоприятствуют появлению события i. Определим как вероятность появления события i. Вероятность представляет собой, очевидно, линейную меру априорной неопределенности результата и может принимать значения в интервале Предположим далее, что с каждым

событием связана величина Тогда средняя или ожидаемая величина х определяется как среднее взвешенное величин с весовым множителем, равным частоте появления события:

и вообще для моментов любого порядка

Из выражений типа наиболее часто используется выражение для среднего значения и дисперсии

Кроме часто весьма полезно иметь более мощную меру неопределенности события, изменяющуюся не от 0 до 1, а от 0 до которая для независимых событий (например, в Бостоне бросают монету, а в Сан-Франциско открывают карту) удовлетворяет закону сложения. Более мощной мерой, которая удовлетворяет этим условиям, является Так как эта мера также соответствует нашему интуитивному представлению о количестве «информации», которую мы получаем при появлении события, в современной теории связи она определяется как

в битах. Основание 2 здесь выбрано потому, что вычисления обычно проводятся в двоичных единицах (битах). Среднее значение этой величины для большой последовательной выборки также определяется как среднее взвешенпое с весовым множителем, равным частоте появления события, и называется оно «энтропией» распределения вероятности

Методом множителей Лагранжа и с учетом условия легко показать, что и максимум имеет место, когда все равны, т. е.

Фиг. Б.1.

Если с достаточной определенностью может встретиться только одно событие то

На фиг. Б.1 представлена схема для основной задачи теории связи [2]. Посылается сообщение х, содержащее последовательность i символов, а в принимаемом сообщении содержится последовательность символов. Определим:

вероятности

условные вероятности: вероятность появления символа при наличии символа — вероятность появления символа i при наличии символа

вероятность совместного события — вероятность появления символов Эти вероятности удовлетворяют следующим выражениям:

С каждой из этих вероятностей мы связываем следующие величины: энтропии

условные энтропии

и энтропию совместного события

которые удовлетворяют уравнениям

или неравенству

причем равенство справедливо в том случае, когда х и у статистически независимы.

Предположим теперь, что посылается один символ i и принимается один символ Сколько «информации» передается при этом? Передаваемая информация равна разности уровней незнания до и после передачи. Более точно

С точки зрения отправителя

тогда как с точки зрения получателя

Но из выражения следует, что

или т. е. количество передаваемой «информации» не зависит от наблюдателя. Усредним это выражение

по всем входным и выходным символам:

После несложных преобразований это выражение приводится к следующему виду:

с точки зрения получателя или

с точки зрения отправителя.

Фиг. Б.2.

Если использовать величины начальной и конечной степени незнания содержания посланного сообщения, то выражение можно записать в виде

так что увеличение информации приводит к уменьшению Конечно, при отсутствии «шума»

В качестве иллюстрации сказанного рассмотрим пример с двумя урнами (фиг. Б.2). В первой урне содержится 10 белых шаров и 2 черных шара, а во второй — 2 белых шара и 10 черных. Из первой урны вынимается шар неизвестного цвета и кладется во вторую урну, содержимое которой затем перемешивается. Затем вынимается шар из второй урны и отмечается его цвет. После этого наблюдатель восстанавливает первоначальное состояние и все снова повторяется. Сколько бит передается в такой системе за один выбор? Пусть соответствует событию, состоящему в вынимании белого шара из урны 1 и помещении

его в урну 2, а — то же самое для черного шара. Это - «посланное сообщение». Пусть соответствуют событиям, состоящим в последовательном выборе белого или черного шара из урны 2. Это будет «полученным сообщением». Теперь, пользуясь определением различных вероятностей и теоремами полной вероятности и вероятности совместного события, мы можем составить следующую таблицу вероятностей.

(см. скан)

Отсюда

Энтропия в случае непрерывного сигнала. Для непрерывных распределений вероятности также можно определить энтропию, условную энтропию и энтропию совместного события следующим образом:

Мы уже видели в случае дискретного распределения вероятности, что пределы, достигаемые ограничиваются только условием Предположим теперь к тому же, что мы фиксируем один из моментов вида

Пользуясь опять методом множителей Лагранжа и полагая можно показать, что Я достигает своего максимального значения, когда

где выбраны таким образом, чтобы они удовлетворяли двум дополнительным условиям. В физике при (где Е — полная энергия системы) и тогда выражение (Б. 20) представляет собой распределение Больцмана. Если скорость молекул газа), то и тогда выражение (Б.20) дает закон Максвелла — Больцмана для распределения скоростей молекул идеального классического газа. Перефразируя Вудворда [2], можно сказать, что при фиксированной величине среднего квадрата флуктуаций распределение Гаусса является наиболее случайным из всех распределений в том смысле, что ему соответствует максимальная энтропия. С этой точки зрения все результаты, полученные Шенноном [3] для емкости канала передачи информации, потерь энтропии в линейном фильтре и т. д., могут быть непосредственно применены в оптике [4, 51 с соответствующим переходом к двумерным представлениям.

1
Оглавление
email@scask.ru