ПРЕДИСЛОВИЕ

Теория информации представляет собой ветвь статистической теории связи (ее часто с нею отождествляют), основы которой были заложены классическими трудами Н. Винера, А. Н. Колмогорова, В. А. Котельникова и К. Шеннона. Круг проблем, составляющих основное содержание теории информации (проблем «шенноновской теории информации»), можно охарактеризовать как исследование методов кодирования для экономного представления сообщений различных источников и для надежной передачи сообщений по каналам связи с шумом.

В основе теории информации лежит статистическое описание (статистические модели) источников сообщений и каналов связи, а также основанное на этом описании измерение количества информации между сообщениями по Шеннону, т. е. такое, при котором количество информации определяется только вероятностными свойствами сообщений и ни от каких других их свойств не зависит. В отличие от других разделов теории связи, например, теории обнаружения, теории оценивания, теории модуляции, алгебраической теории кодирования и т. д., предметом теории информации, как правило, являются теоремы, устанавливающие предельные возможности различных методов обработки и передачи сообщений. Эти предельные возможности зависят только от статистических свойств источников и каналов.

В качестве примеров можно привести три типичные задачи теории информации.

1. Предположим, что задан источник сообщений. Требуется найти наименьшее количество символов (например, двоичных), которое необходимо для указания последовательности сообщений, порожденных источником. При этом может быть задан критерий качества восстановления сообщений источника и требоваться указание последовательности сообщений с ошибкой относительно данного критерия качества, не превосходящей заданную величину.

2. Предположим, что задан канал связи. Требуется найти наибольшую возможную скорость передачи по этому каналу, при которой вероятность ошибочного приема сообщений может быть сделана произвольно малой.

3. Предположим, что заданы источник и канал, а также задан критерий качества. Требуется определить наименьшую

возможную относительно данного критерия качества величину ошибки, которую можно достичь, передавая сообщения данного источника по данному каналу связи.

Всякий раз, решая подобные задачи, пытаются не только найти предельные значения количества двоичных символов, скорости передачи или величины ошибки, но и найти некоторый способ обработки сообщений (некоторый способ кодирования и декодирования), который позволяет достичь указываемых пределов. Однако очень часто не удается указать наилучший способ кодирования и декодирования. Поэтому теория информации, как правило, не дает непосредственных практических рекомендаций инженерам, проектирующим аппаратуру обработки и передачи сообщений. Тем не менее, она является важным инструментом анализа различных технических систем: телеметрических систем, систем передачи речи или телевизионных изображений, систем передачи данных, банков данных, различных систем управления и т. д.

На основе теории информации можно ответить на вопросы о предельных возможностях перечисленных систем, определить, в какой мере проектируемая система уступает теоретически возможной. Следует отметить также, что в некоторых случаях логика вывода, используемая в теории информации, подсказывает путь, на котором может быть найдено конструктивное решение для данной реальной системы.

Первоначально теория информации возникла из инженерных задач радиосвязи и телеграфии. Датой ее рождения считают 1948 год, год появления двух основополагающих статей американского инженера и математика Клода Шеннона «Математическая теория связи» и «Связь при наличии шума» (см.: Шеннон К., Сборник работ по теории информации и кибернетике. — М.: ИЛ, 1963). Начиная с этого времени, теория информации бурно развивалась, главным образом благодаря работам математиков и математически образованных инженеров. Нельзя не отметить огромный вклад, который внесли в теорию информации Дж. Вольфовиц, Р. Галлагер, Р. Л. Добрушин, А. Н. Колмогоров, М. С. Пинскер, В. И. Сифоров, А. Файнстейн, Р. Фано, А. А. Харкевич, А. Я. Хинчин и многие другие. В результате развития теории информации основная часть теоретических работ стала носить математически сложный характер, и образовался определенный разрыв между инженерами-практиками и адресованной в первую очередь им прикладной математической теорией. К сожалению, до настоящего времени этот разрыв не имеет тенденции уменьшаться; желание его преодолеть было одним из основных стимулов при написании этой книги, которая по замыслу авторов должна помочь студенту технического вуза познакомиться с теорией информации или ее отдельными разделами.

Сегодня можно указать две основные книги, которые могут служить учебниками по теории информации. Это книга Р. Фано «Передача информации. Статистическая теория связи» (Мир, 1965) и книга Р. Галлагера «Теория информации и надежная связь» (Сов. радио, 1974). Обе эти книги написаны известными американскими учеными, внесшими существенный вклад в теорию информации. Однако обе они в значительной степени носят монографический характер и предназначены достаточно подготовленным читателям. Следует также отметить одну из первых книг на русском языке — книгу Ф. П. Тарасенко «Введение в курс теории информации» (изд. Томского ун-та, 1963) и книгу Р. Л. Стратоновича «Теория информации» (Сов. радио, 1975), посвященную нетрадиционному изложению шенноновской теории информации с позиций статистической термодинамики.

Настоящая книга состоит из следующих пяти основных частей: кодирование дискретных источников, кодирование в дискретных каналах, кодирование в непрерывных каналах, кодирование непрерывных источников и кодирование в системах с многими пользователями.

В первой главе рассматривается задача точного или сколь угодно точного кодирования дискретных источников. В ней дается ответ на вопрос, каково наименьшее количество двоичных символов на сообщение, по которому можно точно или с какой угодно малой вероятностью ошибки восстановить последовательность сообщений на выходе дискретного источника.

Во второй главе задачи кодирования не рассматриваются. Она посвящена исследованию свойств количества информации для различных вероятностных объектов. Кроме того, в этой главе приводятся математические сведения, необходимые для чтения этой и последующих глав книги.

В третьей главе рассматривается задача кодирования в дискретных каналах связи и дается ответ на вопрос, каково наибольшее количество информационных двоичных символов, которое может быть передано по каналу связи в единицу времени при условии, что вероятность ошибки при определении переданных сообщений может быть сделана сколь угодно малой величиной. Кроме того, в этой главе строятся верхняя и нижняя границы вероятности ошибки декодирования для дискретных каналов без памяти.

Четвертая глава посвящена обобщению результатов третьей главы на случай различных непрерывных каналов.

В пятой главе рассматривается задача кодирования источников при заданном критерии качества (теория эпсилон-энтропии). В ней дается ответ на вопрос, каково наименьшее количество двоичных символов на сообщение, по которым можно восстановить с заданной ошибкой относительно выбранного критерия качества

последовательность сообщений на выходе некоторого источника.

Шестая глава посвящена задачам кодирования в системах с многими пользователями (многими источниками, каналами связи и получателями сообщений). Здесь также даются ответы на вопросы о минимальном числе двоичных символов на сообщение источника или о максимальном числе информационных двоичных символов, передаваемых по каналу в единицу времени, в ситуации, когда имеется несколько источников и они зависимы или когда имеется несколько каналов и передача по одному каналу мешает передаче по другим.

В книге имеются основные и дополнительные параграфы. Основные задуманы как пособие для читателя, который впервые знакомится с теорией информации и который не рискнул бы считать себя хорошо владеющим теорией вероятностей. Тем не менее, эта часть книги позволяет читателю проникнуть в проблематику теории информации и познакомиться с ее основными результатами, пройдя через все трудности доказательств. Следующие параграфы являются основными: вся гл. I, §§ 2.1-2.3, вся гл. III (кроме пп. 3.5.2, 3.12.4, 3.12.5 и § 3.13), §§ 4.1, 4.2, 5.1- 5.5. Эти разделы могут составить материал для односеместрового курса лекций по теории информации. Курсы лекций примерно с таким содержанием читаются в течение ряда лет в Ленинградском институте авиационного приборостроения. При рассмотрении основных разделов сделана попытка упростить изложение за счет сужения круга рассматриваемых вопросов, использования в связи с этим более простой математической техники, более подробного обсуждения постановок задач и примеров. Кроме того, здесь даются все необходимые математические сведения, что делает эту часть книги в определенной мере самостоятельной.

Дополнительных параграфов несколько (в книге они помечены звездочкой над номером параграфа). Все, что не вошло в перечисленные выше основные параграфы (в пределах первых пяти глав), можно рассматривать как дополнительный материал, пред назначенный для углубленного изучения «традиционной» теории информации. Хотя многие математические сведения здесь также приводятся, предполагается, что читатель знаком с элементами функционального анализа, с элементами теории случайных процессов и с элементами нелинейного программирования. Кроме того, для чтения этих разделов требуется несколько большая математическая тренированность.

Особое место в книге занимает шестая глава, посвященная задачам кодирования в системах с многими пользователями. В ней представлены результаты, полученные в теории информации в течение последнего десятилетия и отражающие развитие современных систем обработки и передачи информации. Содержание

шестой главы адресовано в первую очередь читателям, хорошо знакомым с традиционными вопросами теории информации, например, по книге Р. Галлагера, или хорошо овладевшим содержанием первых пяти глав настоящей книги. Для успешного чтения этой главы от читателя требуется наличие определенной теоретико-информационной эрудиции.

Каждая глава снабжена рядом задач, упражнений и дополнений. Среди задач и упражнений имеются очень простые, предназначенные только для проверки того, что читатель правильно понял формулировки определений и теорем. Имеются задачи, которые требуют овладения техникой доказательств. В ряде случаев приводятся дополнительные сведения, затрагивающие как методы, так и интересные и важные результаты теории информации, которые по тем или другим соображениям не включены в основной текст, но которые могут быть полезны при более глубоком изучении теории или при использовании теории на практике.

В заключение отметим, что хотя в книге содержатся основные математические сведения, которые используются при изложении рассматриваемых теоретико-информационных задач, их явно недостаточно для глубокого понимания математических основ теории информации. Читателю, желающему более детально познакомиться с этими основами, мы рекомендуем обратиться к следующим книгам. С теорией вероятностей лучше знакомиться по книгам Б. В. Гнеденко «Курс теории вероятностей» (Наука, 1965) и В. Феллера «Введение в теорию вероятностей и ее приложения», т. I (Мир, 1967). С элементами теории случайных процессов можно познакомиться по книге В. Б. Давенпорта и В. Л. Рута «Введение в теорию случайных сигналов и шумов» (ИЛ, 1960). Основы матричной алгебры и теория операторов в конечномерных пространствах лучше всего изложены в книгах Ф. Р. Гантмахера «Теория матриц» (Наука, 1967) или Р. Беллмана «Введение в теорию матриц» (Наука, 1969). По книге Б. 3. Вулиха «Введение в функциональный анализ» (Наука, 1967) можно познакомиться с элементами функционального анализа.

Авторы выражают огромную признательность всем, кто знакомился с многочисленными вариантами рукописи этой книги и делился своими замечаниями. Особенно большое влияние на работу авторов оказали замечания и советы Ю. М. Штарькова и рецензентов — Р. Л. Добрушина и Э. М. Габидулина.