ПРЕДИСЛОВИЕ

Эта книга написана, главным образом, как учебник по теории информации для студентов старших курсов и аспирантов первого года обучения, специализирующихся в области техники или в математике. Предполагается, что читатель обладает знанием начального курса анализа и элементов теории вероятностей, а для чтения последних глав требуются некоторые начальные знания из теории случайных процессов. К сожалению, имеется еще одно требование, которое труднее выполнить. Читатель должен находиться на разумном уровне математической зрелости и обладать способностью к абстрактному мышлению. Основные результаты теории являются довольно тонкими и абстрактными и в ряде случаев они были получены с помощью, казалось бы, весьма окольных путей. К счастью, недавно достигнутые упрощения в теории позволили сделать главные результаты более доступными, чем это было ранее.

Из-за этой деликатности и абстрактности теории приходится проводить рассуждения на более строгом по сравнению с обычно принятым в технике уровне. Чтобы облегчить чтение там, где это было возможно, я старался вместе с доказательством трудных теорем давать объяснение того, почему теорема является важной, и приводить обоснование справедливости теоремы на интуитивном уровне. Была также предпринята попытка дать каждой теореме наиболее простое и элементарное доказательство; многие из приведенных здесь доказательств являются новыми. Я тщательно избегал довольно неудачную для многих элементарных учебников практику упоминания в середине доказательства некоторых нечетко сформулированных математических теорем, на основе которых и завершается доказательство.

Существует целый ряд причин для того, чтобы доказательству теорем уделить здесь особое внимание. Одна из главных причин состоит в том, что при попытке приложить теорию инженер быстро установит, что задачи, возникающие в технике, не часто можно решить с помощью непосредственного применения к ним теорем. Теоремы редко могут быть применены без всяких изменений и нужно разобраться в доказательстве для того, чтобы выяснить, дает ли эта теорема какое-либо продвижение в решении поставленной задачи. Другой причиной для выделения доказательств является то, что методы, использованные в доказательствах, часто оказываются более полезными при проведении новых исследований в этой области по сравнению с самими результатами. Последняя причина обращения особого внимания на точность формулировок результатов и на тщательность доказательств состоит в том, что эта книга задумана, скорее, как существенная часть курса по теории информации, а не как весь курс целиком. Например, философию, интуитивное толкование, примеры и приложения лучше передавать при непосредственном общении на занятиях, в то время как точные утверждения и детали лучше изложить в виде написанного учебника. Для преподавателя

и самостоятельно изучающего курс аспиранта здесь приводится вполне достаточно интуитивного материала, однако студентам последних курсов требуется давать дополнительные разъяснения на занятиях.

В конце книги приведено большое число упражнений и задач. Их диапазон простирается от простых численных примеров до существенных теоретических обобщений. В тексте книги рассмотрено лишь относительно небольшое число примеров, и читатель, который нуждается в конкретных примерах, должен часто прерывать чтение для решения некоторых наиболее простых задач, помещенных в конце книги.

Имеется целый ряд возможностей выбора помещенного здесь материала для односеместрового курса. Главу 1 следует читать вначале (а возможно, также и в конце). После этого, по моему мнению, предпочтительно чтение следующих параграфов (в указанном порядке): 2.1-2.4, 3.1-3.4, 4.1-4.5, 5.1-5.6., 6.1-6.5 и, наконец, либо 6.8-6.9, либо 6.6.-6.7, либо 8.1-8.3. Другая возможность, открытая для студентов, которые имеют некоторые знания из теории случайных процессов, состоит в том, чтобы начать с § 8.1 и 8.2 и затем проследовать по указанному выше пути, используя повсюду в качестве примера канал с гауссовым белым шумом. Следующая возможность, предлагаемая для слушателей, с серьезными намерениями применений на практике, состоит в том, чтобы начать с гл. 6 (опустив § 6.2), затем перейти к § 5.1-5.5, после этого § 6.2 и далее к гл. 2 и 4 и § 8.1 и 8.2. Иные возможности построения курса можно установить с помощью следующей таблицы используемого в тексте материала.

Таблица используемого материала

(см. скан)

Как общее правило, последние темы каждой главы являются самыми трудными и излагаются в более сжатой форме по сравнению с темами, рассмотренными ранее. Они включены, главным образом, для

аспирантов, а также лиц, работающих в этой области, хотя большинство из них может быть прочитано в течение второго семестра. Преподавателей следует предупредить не тратить слишком много времени на гл. 3, особенно в односеместровом курсе. Материал, помещенный в §4.1-4.5, 5.1-5.6 и 6.1-6.5, проще и имеет большее значение, чем материал, помещенный в § 3.5-3.6, несмотря на то, что он, возможно, менее знаком некоторым преподавателям.

Я приношу извинения многим авторам значительных работ в теории информации, которых я не упомянул. Я пытался привести ссылки, которые мне казались полезными при написании этой книги, наряду со ссылками на отдельные работы, содержащие дальнейшие продвижения. Многие работы, имеющие историческое значение, были опущены, и цитируемые здесь авторы не обязательно являются теми, кто внес наибольший вклад в эту область.

Мне хочется выразить признательность Исследовательской лаборатории электроники и Электротехническому факультету Массачузетсского технологического института (МТИ) за терпеливую поддержку во время подготовки этой книги. Эта работа была поддержана Национальной администрацией по аэронавтике и космосу по контракту NSG-334. Я особенно благодарен Р. М. Фано, который стимулировал мой первый интерес к теории информации и кому я во многом обязан моим подходом к пониманию этого предмета. Работа над этой книгой была начата более четырех лет назад с первоначальным замыслом произвести переработку (под двойным авторством) книги Р. М. Фано «Передача информации?». Шли годы, текст разрастался и изменялся и стало ясно, что получилась полностью отличная книга. Однако мой долг «Передаче информации» очевиден всякому, кто знаком с обеими книгами.

Я также очень благодарен П. Элайсу, Дж. М. Возенкрафту и К. Э. Шеннону, за их идеи и методы изложения, которые широко использованы здесь. Другой долг я обязан отдать многим студентам и аспирантам, которые слушали курс теории информации в МТИ и делали беспристрастные замечания о многих эксперимента по различным представлениям содержащегося здесь материала. Наконец, я обязан многочисленным коллегам, которые были очень великодушны и дали детальную критику различных частей этой рукописи. В этом отношении особенно большую пользу оказал Дж. Л. Месси. Г. Д. Форни, X. Юдкин, А. Вайнер, П. Элайс, Р. Кэн, Р. С. Кеннеди, Дж. Макс, Дж. Пинкстон, Э. Берлекэмп, А. Коленберг, И. Джекобе, Д. Сакрисон, Т. Кайлат, Л. Сейдман и Ф. Препарата все вместе сделали большое число критических замечаний, которые способствовали значительному улучшению рукописи.

Роберт Г. Галлагер