Примечания

1 (к § 1.2). В большей части работ по теории связи предполагается взаимно однозначное соответствие между сообщением и передаваемым сигналом. Однако в реальных системах связи это далеко не всегда соблюдается. Очень часто определенное сообщение может быть преобразовано в различные сигналы. Так, например, два сигнала, отличающиеся только постоянными коэффициентами, во многих системах связи соответствуют одному сообщению. При сдвиге сигнала во времени на некоторую величину обычно получается сигнал, соответствующий тому же сообщению. При узкополосных сигналах изменение фазы высокочастотного заполнения и даже изменение в небольших пределах его средней частоты во многих случаях также не изменяет сообщения, которому соответствует сигнал. В силу этого передаваемый сигнал представляет собой элемент не дискретного, а непрерывного множества возможных сигналов.

Многие авторы полностью игнорируют это обстоятельство, что иногда приводит к существенным расхождениям между теоретическими результатами и практикой. Другие авторы (например, Файнстейн) рассматривают неоднозначность сигнала как результат воздействия «помехи», проявляющейся в момент передачи сигнала.

2 (к § 1.4). Энтропия источника информации, определенная уравнениями (1.7) и (1.10), представляет математическое ожидание количества информации, приходящегося на один элемент сообщения. Для того чтобы эта величина имела реальный смысл среднего значения количества информации, приходящегося на элемент в некоторой достаточно длинной последовательности элементов сообщения, необходимо, чтобы источник удовлетворял некоторым условиям эргодичности 11]. Строго говоря, реальные источники информации не являются эргодичными, но могут приближенно считаться эргодичными, если их рассматривать на протяжении не очень больших отрезков времени.

Понятие энтропии источника сообщения тесно связано с термодинамической энтропией физической системы, образующей вместе с наблюдателем источник сообщении. Чем больше термодинамическая энтропия (зависящая, в частности, от числа степеней свободы системы), тем большее количество информации требуется для описания ее состояния. Подробное исследование соотношения между информационной и термодинамической энтропией провел Бриллюеи [15].

3 (к § 1.6). Байесовы критерии, основанные на минимизации среднего риска (1.21), пригодны для построения решающей схемы лишь в тех случаях, когда априорные вероятности элементарных сообщений  известны. В некоторых случаях при проектировании системы связи (в частности, если она рассчитана на подключение различных заранее неизвестных источников) априорные вероятности  не могут быть определены. В таком случае в качестве основы построения решающей схемы часто используют минимаксный критерий.

Минимаксным критерием является такой метод оценки решающей схемы, при котором сравниваются максимальные значения условного риска (1.20), причем максимум берегся по всем сообщениям   для каждой решающей схемы

.                            (1.49)

Оптимальной считается та решающая схема, которая обеспечивает минимальное значение , т. е. для которой максимальный (по всем сообщениям) условный риск меньше (или, по крайней мере, не больше), чем для любой другой решающей схемы

Можно показать (1.3), что минимаксный критерий приводит к такой же решающей схеме, что и байесов критерий минимального среднего риска, при условии, что априорное распределение вероятностей сообщении выбрано наименее благоприятным. Если в действительности априорное распределение вероятностей не является наименее благоприятным, то, зная это распределение, можно было бы построить решающую схему, основанную на байесовом критерии, которая обеспечит меньшую величину среднего риска, чем минимаксная решающая схема. Но зато всегда можно найти такое априорное распределение вероятности, при котором средний риск в байесовой решающей схеме (построенной для другого априорного распределения) будет больше, чем в минимаксной схеме.

Заметим [9], что если для всех случаев ошибок стоимость считается одинаковой, то минимаксная решающая схема совпадает со схемой, построенной по критерию максимального правдоподобия.

Поскольку система связи предназначена для передачи информации, представляется разумным определить оптимальную решающую схему как такую, которая обеспечивает наиболее полное использование информации, содержащейся в принятом сигнале относительно переданного сообщения. Таким образом, можно установить информационный критерий оптимальности. К сожалению, на этом пути существуют большие трудности. Так, если стоимость , фигурирующую в выражении (1.21), среднего риска положить обратно пропорциональной количеству информации, содержащейся в  относительно , то, казалось бы, критерий минимального среднего риска привел бы к минимизации потерь информации в решающей схеме. Но при этом возникает определенность, связанная с тем, что совместная вероятность  входящая в выражение для количества информации, сама зависит от выбора решающей схемы [9].

Если в (1.21) положить стоимость  обратно пропорциональной априорной вероятности  (на том основании, что информационное содержание сообщения возрастает с уменьшением априорной вероятности), то легко убедиться, что критерий минимального среднего риска совпадет с критерием максимального правдоподобия.

Некоторые авторы [3, 14] предлагают называть информационным критерием такой, согласно которому оптимальная решающая схема выбирает ту из гипотез  при которой максимизируется частное количество информации, содержащееся в пришедшем сигнале  относительно сообщения  равное . Этот подход также приводит к критерию максимального правдоподобия.

4 (к § 1.7). Выражение (1.43) для количества информации, содержащейся в одном непрерывном процессе  относительно другого непрерывного процесса, можно преобразовать следующим образом:

     (1.50)

Величину  К. Шеннон [1] называет энтропией непрерывного процесса, а величину  — условной энтропией процесса x при известном процессе . Однако такая терминология не очень удачна, так как указанные величины не обладают теми свойствами, какие имеют энтропия и условная энтропия дискретных последовательностей  и  Поэтому, следуя Д. Н. Колмогорову [6], мы будем называть  и  соответственно дифференциальной энтропией и дифференциальной условной энтропией.

Как было показано в § 1.7, энтропию дискретного сообщении  можно определить как количество информации, заключенное в х относительно самого себя,  Дифференциальная энтропия этого смысла не имеет. Действительно, из (1.43) либо из (1.7) путем предельного перехода можно показать, что для непрерывного процесса .

Это является вполне естественным, так как для точного описания конечного отрезка непрерывного процесса необходимо сообщить его значение в бесконечном числе точек. Даже для точного задания значения непрерывной случайной величины, характеризуемой плотностью вероятности  любая конечная величина количества информации оказывается недостаточной. Это можно пояснить следующим образом. Разобьем всю область значений величины х на отрезки величины  и будем воспроизводить эту величину с точностью . Очевидно, количество информации, необходимоедля этого, можно определить как энтропию дискретной величины, принимающей значения  с вероятностью

         (1.51)

Если теперь устремить  к нулю, т. е. беспредельно увеличивать точность задания непрерывной случайной величины, то первый член в (1.51) стремится к дифференциальной энтропии , тогда как второй член беспредельно возрастает.

Этот результат можно трактовать также следующим образом. Если бы существовал канал с полным отсутствием шумов, так что принятый сигнал  был бы тождественно равен переданному непрерывному сигналу  (либо всякое значение  являлось бы регулярной обратимой функцией от ), то  и по такому каналу можно было бы передавать безошибочно сообщения любого источника, какова бы ни была его производительность. Если же зависимость между  и  не является регулярной и обратимой, то  является конечной положительной величиной. Напомним, что термин «непрерывный сигнал» понимается не в смысле непрерывности функции  а в том смысле, что сигналы  являются элементами непрерывного множества.

Дифференциальная энтропия  в отличие от энтропии дискретного источника  может принимать отрицательные значения. Более того, дифференциальная энтропия может изменять как угодно свое значение и даже знак при изменении единицы измерения величины , так как при этом будет изменяться значение . Что же касается разности дифференциальных энтропий (1.50), равной количеству информации, содержащейся в одном непрерывном процессе относительно другого, то она не зависит от единиц измерения, а зависит от основания логарифмов (т. е. от выбранной единицы для количества информации). В действительности при непрерывных процессах физический смысл имеет только количество информации, т.е. разность дифференциальных энтропий, а не сама дифференциальная энтропия.

Заметим, что путем несложных преобразований можно выразить  по аналогии с (1.40) и так:

         (1.52)

где