§ 81. ЭКСКУРС В ТЕОРИЮ ИНФОРМАЦИИ. КОЛИЧЕСТВО ИНФОРМАЦИИ

Спектральный анализ позволяет сравнительно просто ввести основные представления современной теории информации. Последняя иногда считается чисто математической теорией. Однако она тесно связана с физикой электромагнитных волн, хотя бы потому, что основным приложением последней является радиосвязь в широком смысле этого слова, т. е. передача информации посредством электромагнитных сигналов. Для осуществления оптимальной радиосвязи необходима количественная теория информации. Примером радиосвязи, использующей предельные технические возможности, является дальняя космическая связь, скажем, с автоматическими станциями на Марсе или Венере, космическими кораблями вблизи Юпитера и т. д. Выбор оптимальных условий всех звеньев такой связи имеет решающее значение. Другим поучительным примером умелого использования технических возможностей (хотя еще далеко не полного) является современная система цветного телевидения.

По-видимому, первые попытки количественной оценки информации применительно к телеграфной связи по кабелю предприняты еще на рубеже нашего столетия английским физиком Томсоном (лордом Кельвином). Трудности в создании теории информации были отчасти психологического характера. Мы слишком привыкли связывать понятие информации с деятельностью живых или даже только разумных существ, которая, казалось бы, не поддается «грубому» анализу физики и математики, а является процессом более высокого порядка. Первая брешь в этой глухой стене мистического представления о жизни была пробита кибернетикой — новой наукой, связанной с именами, главным образом, Винера и фон Неймана. Кибернетика позволила не только понять на базе точных наук сущность жизни вообще и разумной жизни в частности, но и указала пути создания искусственной жизни и разума. Вопрос о том, является ли кибернетическая модель жизни исчерпывающей, остается, конечно, открытым, однако можно утверждать, что в настоящий момент нет никаких данных, противоречащих такой модели. Вполне естественно, что одновременно бурно

развивалась и теория информации, являющаяся составной частью кибернетики. Возникновение теории информации связано главным образом, с именем американского математика Шеннона (1949 г.)«

Как же можно измерять информацию? В частности, как измерить информацию, содержащуюся в сигнале? Частично эта задача была решена еще в 1933 г. советским физиком Котельниковым. Мерой информации сигнала него служило число независимых величин, полностью определяющих функцию Основная идея теории Котельникова состоит в следующем. Пусть мы имеем сигнал конечной длительности Г и в ограниченной полосе частот При этих, неизбежных в любой системе связи, ограничениях сигнал можно представить рядом Фурье с конечным числом слагаемых, так как можно считать периодической с периодом Т. Такой ряд полностью определяется заданием

чисел (амплитуды и фазы фурье-гармоник, Величина называется числом степеней свободы сигнала. Соотношение (81.1) можно переписать в виде , где — длительность сигнала, соответствующая одной степени свободы. В таком виде оно совпадает с соотношением неопределенности (79.2), откуда следует, что есть характерное время изменения сигнала. Если сигнал является стационарным с непрерывным спектром, то порядка времени корреляции сигнала (80.8), (80.10).

Котельников получил также явное выражение, позволяющее точно восстановить сигнал по его значениям в точках (см. задачу).

Задача. Восстановить сигнал с ограниченным спектром по его значениям в отдельных точках (теорема Котельникова, 1933 г.).

Пусть спектр сигнала ограничен интервалом Тогда фурье-амплитуду сигнала можно считать периодической функцией и снова разложить в ряд Фурье:

откуда

Коэффициенты этого ряда выражаются через значения функции в моменты Окончательно

Это и есть формула Котельникова. Если длительность сигнала ограничена интервалом Т, для его точного восстановления требуется значений сигнала, что совпадает с (81.1) .

Такое определение является неполным. Остается нерешенным вопрос, сколько информации содержится в каждом из параметров сигнала (81.1)? Ответ, вообще говоря, различен и зависит, в частности, от точности измерений, уровня помех и пр. Собственно количественное определение и составляет основу современной теории информации.

Начнем с дискретных сигналов. Как мы увидим ниже, теорема Котельникова позволяет обобщить результаты, полученные для этого случая, на широкий класс непрерывных сигналов. Под информацией понимается выбор из некоторого числа априорных возможностей. Элементарным информационным актом считается выбор из двух равновероятных возможностей. Такая единица информации называется бит — двоичный разряд). Примерами элементарной информации могут служить: один двоичный разряд числа (0 или 1), ответ да или нет, точка или тире в азбуке Морзе, положение триггера с двумя устойчивыми состояниями, состояние нейрона нервной сети (возбужден — невозбужден) и т. п.

Теперь посмотрим, к чему приведет усложнение передаваемого сообщения. Пусть сообщение содержит одно -разрядное слово, например . В таком языке, содержащем -разрядные слова, можно образовать различных слов. Какое же количество информации несет данное слово? Очевидно, что если один разряд содержит 1 бит информации, то -разрядное слово содержит бит. Получив сообщение, состоящее из одного слова, мы узнали, что среди возможных вариантов реализуется данный, конкретный, а это и означает, что мы получили информацию бит. Она связана с полным числом возможностей очевидным соотношением:

Эта формула (Хартли, дает информацию, содержащуюся в одном слове языка, состоящего из слов, записанных в двоичном коде. Информация, содержащаяся в одном десятичном разряде, бит.

Если в каждом разряде слова возможно не два, а различных состояний, то, очевидно, и каждый разряд, в соответствии с (81.3), несет информацию а -разрядное слово —

Нетрудно заметить связь определенной таким образом информации со статистической энтропией, которая также пропорциональна логарифму числа возможных состояний системы. Это позволяет дать общее определение количества информации как уменьшения энтропии системы в результате полученной информации (см. § 83).

Используя выражение Больцмана для энтропии, можем написать

где — функция распределения системы. Энтропия измеряется здесь в безразмерных единицах (постоянная Больцмана ), а информация измеряется в нитах ( бит бит) Такое определение информации было впервые предложено фон Нейманом.