Введение

Термин «информация», указанный в заглавии книги, понимается здесь не в том широком смысле, в каком его понимают работники печати, радиовещания и народного хозяйства, а в том узком научном смысле, какой ему придал К. Шеннон. Другими словами, предметом настоящей книги является специальная математическая дисциплина — шенноновская теория информации, которая в состоянии решать не всеобъемлющие, а определенные, сравнительно специальные задачи, относящиеся к ее компетенции.

Содержанием этой дисциплины являются абстрактно формулируемые теоремы и результаты, которые по-разному могут конкретизироваться в различных отраслях знания. Теория информации имеет многочисленные приложения в теории передачи сообщений при наличии помех, в теории записывающих и регистрирующих устройств, в математической лингвистике и других науках, вплоть до генетики.

Теория информации вместе с другими математическими дисциплинами, такими, как теория оптимальных статистических решений, теория оптимального управления, теория алгоритмов и автоматов, теория игр и другие, входит в состав теоретической кибернетики — науки об управлении. По своему основному содержанию указанные дисциплины являются самостоятельными и не связанными между собой. Но это не значит, что они совершенно оторваны одна от другой, что мосты между ними не возможны. Без сомнения, возможно и вероятно появление комбинированных теорий, в которых используются понятия и результаты различных дисциплин и которые соединяют между собой различные дисциплины. Картина подобна деревьям в лесу: стволы их стоят отдельно, а кроны переплетаются. Первое время они растут независимо, а затем, переплетаясь ветвями, проникают друг в друга.

Конечно, в целом высказанное утверждение об объединении дисциплин является предположительным, однако срастание друг с другом некоторых первоначально оторванных дисциплин Является уже реальностью, свершившимся фактом. Как видно из ряда работ и из предлагаемой книги, срастаются три дисциплины:

1) статистическая термодинамика как математическая теория,

2) шенноновская теория информации,

3) теория оптимальных статистических решений (вместе с ее многошаговыми (последовательностными) разновидностями — оптимальной фильтрацией и динамическим программированием).

Из содержания настоящей книги будет видно, что цементом, объединяющим указанные три дисциплины, являются «термодинамические» методы с такими типичными их атрибутами, как «термодинамические»

параметры и потенциалы, преобразования Лежандра, экстремальные распределения, асимптотический характер важнейших теорем.

Статистическую термодинамику лишь условно можно относить к кибернетическим дисциплинам. Однако в некоторых вопросах статистической термодинамики ее кибернетическая подоплека выступает довольно отчетливо. Достаточно вспомнить второй закон термодинамики и «демона Максвелла», который является типичным автоматом, перерабатывающим информацию в физическую энтропию. Информация является «горючим» для вечного двигателя второго рода. Эти вопросы рассматриваются в гл. 12.

Если статистическую термодинамику считать кибернетической дисциплиной, то Л. Больцмана и Дж. К- Максвелла следует назвать первыми выдающимися кибернетиками. Важно учесть, что формулу, по которой энтропия выражается через вероятности, ввел Л. Больцман. Он также дал распределение вероятностей, которое является решением первой вариационной задачи (как называются входящие в формулу функции — энергией или штрафами, разумеется, совершенно безразлично).

При возникновении шенноновской теории информации появление в ней такого хорошо известного в термодинамике понятия как энтропия воспринималось некоторыми как курьез, и этому не придавалось серьезного значения. Считалось, что эта энтропия не имеет ничего общего с физической энтропией (вопреки деятельности вышеупомянутого «демона»). В связи с этим можно вспомнить бесчисленное множество кавычек, в которые заключено слово «энтропия» в первом издании русского перевода статей К. Шеннона (сборник под ред. А. Н. Железнова, ИЛ, 1953). Я думаю, что теперь даже такой термин как «температура» в теории информации можно писать без кавычек, понимая под этим просто параметр, определенным образом входящий в выражение для экстремального распределения. Однотипные закономерности имеют место и в теории информации и в статистической физике, и их условно можно называть «тер модинамическими».

Сначала (с 1948 г. по 1959 г.) в шенноновской теории информации фигурировало лишь одно «термодинамическое» понятие — энтропия. В ней, казалось, нет места для энергии и других аналогичных термодинамических потенциалов. В этом отношении теория выглядела однобокой по сравнению со статистической термодинамикой. Но это было временным явлением. После осознания того, что в прикладной теории информации, понимаемой как теория передачи сигналов, аналогом энергии является функция штрафов, аналогом средней энергии является риск, положение изменилось. Стало очевидным сходство в числе основных понятий и в соотношениях между ними. Если, в частности, иметь в виду первую вариационную задачу, то можно говорить о подобии, «изоморфизме», данных двух теорий. Математические соотношения между соответствующими понятиями в обеих дисциплинах одни и те же, а они-то

и составляют содержание математической теории — той теории, которая рассматривается в этой книге.

Указанными соотношениями не исчерпывается содержание теории информации. Помимо энтропии, в ней имеются и другие понятия, такие, как шенноновское количество информации. Кроме первой вариационной задачи, связанной с экстремумом энтропии при фиксированном риске — энергии, в ней возможны также вариационные задачи, в которых энтропия заменяется на шенноновское количество информации. Поэтому содержание теории информации шире математического содержания статистической термодинамики.

Новые вариационные задачи обнаруживают замечательную аналогию с первой вариационной задачей. В них имеется тот же набор сопряженных параметров и потенциалов, те же формулы связи потенциалов посредством преобразования Лежандра. И это не удивительно. Можно показать, что все это появляется при рассмотрении любой невырожденной вариационной задачи.

Остановимся на этом подробнее. Пусть заданы хотя бы два функционала от аргумента («распределения») Р, и требуется обратить в экстремум один функционал при фиксированном значении второго, скажем,

Вводя множитель Лагранжа а, который служит «термодинамическим» параметром, канонически сопряженным с параметром А, будем исследовать экстремум выражения

при фиксированном значении а. Экстремальное значение

служит «термодинамическим» потенциалом, так как т. е.

Использованное здесь соотношение

следует из (1). Здесь взята частная вариация обусловленная приращением параметра А, т. е. параметра а. Функция является потенциалом, сопряженным по Лежандру с Пои этом из (2) имеем

Эти обычные в термодинамике соотношения справедливы, очевидно, независимо от природы функционалов и аргумента Р.

Излагаемые в данной книге результаты теории информации связаны с тремя вариационными задачами, решение которых приводит к ряду соотношений, параметров и потенциалов. Вариационные задачи играют в теоретической кибернетике большую роль потому, что в ней рассматриваются в первую очередь оптимальные конструкции и процедуры.

Как видно из содержания книги, с рассмотренными вариационными задачами связаны также важнейшие закономерности (теоремы), носящие асимптотический характер, т. е. справедливые для больших составных систем. Первой вариационной задаче соответствует факт устойчивости канонического распределения, который существен для статистической физики, и факт асимптотической эквивалентности ограничений, наложенных на точные и средние значения функции.

Со второй вариационной задачей связан известный результат Шеннона об асимптотической безошибочности передачи информации через каналы с помехами, а с третьей — факт асимптотической равноценности шенноновской и хартлиевской информации. Последние результаты являются замечательным примером единства дискретного и непрерывного, примером того, как при повышении сложности дискретной системы ее удобно описывать непрерывными математическими объектами; того, как сложная непрерывная система ведет себя асимптотически подобно сложной дискретной системе. Заманчиво было бы видеть нечто подобное, скажем, в будущей асимптотической теории алгоритмов или автоматов.