Глава 1. ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ И ЭНТРОПИИ ПРИ ОТСУТСТВИИ ПОМЕХ

В современной науке, технике и общественной жизни большую роль играет информация и связанные с ней операции: получение информации, передача информации, переработка ее, хранение и т. п.). Значение информации, по-видимому, переросло значение другого важного фактора, который играл доминирующую роль в прошлом веке, а именно — энергии.

В будущем, в связи с усложнением науки, техники, экономики и других отраслей значение правильного управления ими будет все возрастать, и поэтому будет возрастать значение информации.

Что же такое информация, возможна ли теория информации, существует ли для информации какие-либо общие закономерности, не зависящие от конкретного содержания информации, которое может быть весьма различным? Ответы на эти вопросы далеко не очевидны. Информация является более трудным для исследования понятием, чем, скажем, энергия, занимающая определенное, давно выясненное место в физике.

Информация имеет две стороны: количественную и качественную. Иногда важным является общее количество информации, а иногда — качественный вид сообщения, его конкретное, содержание. Кроме того переработка информации из одного вида в другой является технически более сложной задачей, чем, скажем, превращение энергии из одной формы в другую. Все это затрудняет разработку теории информации и ее использование. Не исключено, что во многих практических задачах ситуация такова, что обращение к общей теории информации не принесет пользы, и их следует решать независимыми инженерными методами.

И тем не менее общая теория информации существует, существуют такие образцовые ситуации и задачи, в которых основную роль играют закономерности общей теории. Поэтому теория информации важна и с практической точки зрения, не говоря уже о ее большой принципиальной роли, философской роли, роли в формировании кругозора исследователя.

Из сказанного видно, насколько нелегким делом было открытие закономерностей теории информации. Важнейшим этапом в этом отношении явились работы К. Шеннона [1, 2], опубликованные в 1948—1949 гг. И по постановке задачи, и по результатам они были

многими восприняты как неожиданность. Более внимательное осмысливание, однако, приводит к заключению, что новая теория продолжает и развивает прежние идеи, а именно, идеи статистической термодинамики, связанные с именем Л. Больцмана. Не случайной является глубокая общность математического аппарата этих двух направлений, доходящая до прямого совпадения формул (например, для энтропии дискретных случайных величин). Кроме того, логарифмическая мера для количества информации, являющаяся исходной в теории Шеннона, была предложена применительно к задачам связи еще в 1928 г. в работе Р. Хартли [1].

В настоящей главе мы введем эту логарифмическую меру количества информации и изложим ряд вытекающих из нее важных свойств информации, таких, как свойство аддитивности.

Понятие количества информации тесно связано с понятием энтропии, являющейся мерой неопределенности. Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности, т. е. энтропии.

В случае дискретного сообщения, т. е. дискретной случайной величины, энтропия определяется формулой Больцмана

где случайная величина, а ее распределение вероятностей.

В данной главе большое значение придается тому, что эта формула является следствием (в асимптотическом смысле) более простой формулы Хартли

Важным результатом теории информации является тот факт, что множество реализаций энтропийно устойчивой (это понятие определено в § 1.5) случайной величины можно разбить на два подмножества. Первое них имеет исчезающе малую вероятность, и поэтому его можно отбросить. Второе подмножество содержит приблизительно реализации (т. е. вариантов записи), оно часто значительно меньше полного числа реализаций. Реализация этого второго подмножества приближенно можно считать равновероятными. Следуя терминологии, введенной Больцманом, эти равновероятные реализации можно называть «микросостояниями».

Теория информации является математической теорией, использующей понятия и методы теории вероятностей. При ее изложении нет особой надобности придерживаться специальной «информационной» терминологии, применяемой обычно в приложениях. Понятие «сообщения» без ущерба для теории можно заменить на понятие «случайной величины», понятие «последовательности сообщений» — на «случайный процесс» и т. п. Тогда для применения общей теории, разумеется, требуется правильная формализация прикладных понятий и перевод их с прикладного языка на язык

теории вероятностей. Такому переводу мы не будем здесь уделять особого внимания.

Основные результаты, изложенные в § 1.1-1.3 и относящиеся к дискретным случайным величинам (или процессам), которые имеют конечное или счетное число состояний, могут быть обобщены на случай непрерывных (и вообще произвольных) величин, принимающих значения из многомерного действительного пространства. При таком обобщении приходится преодолевать известные трудности, мириться с определенным усложнением важнейших понятий и формул. Основное усложнение заключается в следующем. Если применительно к дискретным случайным величинам для определения энтропии было достаточно одной меры, одного распределения вероятностей, то в общем случае для определения энтропии необходимо ввести две меры. Поэтому энтропия теперь характеризует не одну меру (степень «неопределенности» в ней), а две меры, и характеризует тем самым соотношения между этими двумя мерами. В нашем изложении формула для энтропии в обобщенной версии аргументируется (выводится из больцмановской формулы) на примере уплотнения точек, изображающих случайные величины.

Специально теории информации посвящены вышедшие на русском языке книги Голдмана [1], Файнстейна [1], Фано [1], по которым удобно знакомиться с простейшими понятиями (см. также книгу Кульбака [1]).