ПРЕДИСЛОВИЕ РЕДАКТОРОВ РУССКОГО ПЕРЕВОДА

Круг проблем, составляющих основное содержание этой книги, восходит к К. Э. Шеннону, к его первоначальной работе «Математическая теория связи», опубликованной в 1948 г. В центре внимания книги находится детальное развитие идеи о применении кодирования для помехоустойчивой передачи сообщений по каналам с шумами и для сокращения избыточности, содержащейся в сообщении.

История развития теории информации была бурной и неровной. Новизна тематики, идей и постановок, оригинальность и общность подхода, открытие новых сфер применения современного математического аппарата, а также широковещательное и, быть может, несколько неоправданное название («теория информации» вместо «теория передачи информации») произвели в начале пятидесятых годов своего рода научный бум. В эти годы теория информации привлекла внимание многих ученых за рубежом и в нашей стране, рекрутировала талантливую молодежь. Это не замедлило сказаться на достижениях теории и ее первых шагах практического использования. Именно в пятидесятые годы была выдвинута идея алгебраического кодирования и доказана его оптимальность; построены БЧХ-коды; предложены сверточные и итеративные коды, последовательное декодирование; получены границы вероятности ошибки для оптимальных кодов; исследована пропускная способность многих каналов и -энтропия источников.

Вместе с тем такое бурное развитие теории и шум, поднятый вокруг этого, сделали ее модной и привлекательной для ученых самых разных специальностей. Возможность перефразировать проблемы многих наук в терминах извлечения, переработки или хранения информации и перспектива получения после этого готовых решений создали около теории информации атмосферу научного Клондайка. Страницы журналов захлестнул поток легковесных, а иногда и ошибочных статей, посвященных неоправданным применениям теории информации (в большинстве случаев понятия «энтропия») к физике, психологии, кристаллографии, лингвистике, теории трафика и т. п.

Наряду с привлечением внимания к теории информации, что несомненно стимулировало ее развитие, эта волна несла в себе и скрытые опасности; в первую очередь, возможность обратного отлива и компрометации самой теории информации. Благодаря усилиям многих ученых, глубоко понимавших новую науку и обеспокоенных за ее судьбу (поучительны в этом отношении статья К. Э. Шеннона «Бандвагон» и предисловие А. Н. Колмогорова к сборнику работ К. Э. Шеннона), эти опасности были предотвращены. Правда, отлив от теории информации произошел, но это послужило ей лишь на пользу, так как ушли те, кто либо разочаровался в возможности автоматического перенесения результатов, либо почувствовал себя несостоятельным для преодоления обнажившихся трудностей.

Если вначале теорией информации занимались ученые, получившие в основном техническое образование, то впоследствии в ее

развитие все активнее начали включаться математики различных направлений. Этот естественный процесс происходил в основном потому, что, с одной стороны, инженерам удалось четко сформулировать интересные с точки зрения приложений новые математические задачи, а с другой — эти задачи оказались настолько трудными, что без длительного и глубокого математического анализа нельзя было ожидать их решения.

Интересно отметить здесь, что среди инженеров, работающих в области радиотехники и электросвязи, существовало мнение, что все методы передачи и приема были предложены инженерами и что эти методы основываются на простых и интуитивно понятных соображениях. К таким методам относятся, например, различные классические методы модуляции, фильтрация, накопление, разнесение, корреляционный прием и т. п. Согласно этому мнению специалисты, занимающиеся теорией информации, разрабатывают лишь математически более совершенные основания этих методов, а также исследуют предельно досги. жимые потенциальные границы для основных параметров систем связи, что в большинстве случаев опять-таки, согласно этому мнению, сводится к доказательству, что известные методы являются оптимальными. Это мнение действительно отражало положение дел на начальных стадиях развития теории информации как науки, выросшей из потребностей радиосвязи, телефонии, телевидения, локации и других видов техники связи и, естественно, питавшейся материнским молоком их плодотворных идей. Однако с течением времени положение изменилось. Для этого потребовались годы глубоких теоретико-информационных исследований. В результате были открыты классы алгебраических, итеративных, каскадных, сверточных и других кодов, а также разработаны изящные методы их декодирования (алгоритмы декодирования циклических кодов, процедуры последовательного и порогового декодирования и др.). Для развития и Понимания этих методов требуется знание идей, постановок и решений теории информации наряду с владением целым рядом современных разделов математики. Техническая интуиция здесь уже не является адекватным методом.

Далее, когда удельный вес математически сложных работ в теории информации стал превалирующим, начал ощущаться известный отрыв специалистов, работающих в области теории, от инженеров, занятых непосредственным проектированием систем связи. Причиной этого, с одной стороны, была недостаточность традиционного математического образования инженеров, а с другой стороны, типичное для математиков увлечение абстрактными задачами и формальным изложением, за которыми неискушенному читателю порой трудно было найти рациональное техническое зерно. Немаловажным обстоятельством было то, что в момент первоначальной публикации результатов их доказательства, как правило, выглядели чрезвычайно сложными и запутанными; они не позволяли легко вскрыть лежащие в их основании идеи. Этот отрыв породил некоторую обоюдную иронию в оценке имеющихся достижений. Взаимная разобщенность инженеров и теоретиков стала особенно противоестественной, когда к середине шестидесятых годов в теории был разработан ряд перспективных для практического использования методов кодирования и декодирования.

В связи с этим книга Р. Г. Галлагера, известного специалиста по теории информации, профессора Массачузетского технологического института, занимает особое место среди публикаций, появившихся в последнее время в нашей стране и за рубежом. Как указано в предисловии к русскому изданию, автор поставил себе задачу «перекинуть мост между математиками и инженерами». Излагаемый в книге материал базируется, с одной стороны, на стройных математических результатах, а с другой стороны, направлен на конкретные технические приложения. Весьма примечательно, что автор все результаты приводит с полными доказательствами на уровне строгости, отвечающем математическим публикациям, и в то же время содержание книги доступно для широкого круга читателей. Достигается это за счет того, что изложение начинается с разбора простейших случаев, затем проводится подробное обсуждение, истолкование и практическое осмысливание полученных результатов. Введение полных и строгих доказательств позволяет читателю более глубоко проникнуть в суть выводимых результатов и найти возможности их изменения в соответствии с запросами теории и практики.

Книга представляет собой методически превосходно написанный учебник по теории информации, освещающий результаты, полученные вплоть до конца шестидесятых годов. Тщательно отобранный и внутренне согласованный материал книги дает описание различных сторон проблемы передачи информации. Подробно исследуется применимость основных теорем кодирования для обширного класса каналов и источников: дискретных, непрерывных, без памяти и с памятью. Изучаются их характеристики, пропускная способность, энтропия и скорость как функция искажения. Большое место в книге уделяется построению эффективных методов кодирования и декодирования и оценке их сложности, что весьма существенно для приложений теории информации. Кодирование трактуется автором как некоторое преобразование выхода источника (включающее модуляцию); декодирование — как некоторая обработка сигнала, принятого на выходе канала (включающая демодуляцию), т. е. кодирование и декодирование рассматриваются с наиболее общих позиций, объединяющих теории кодирования, модуляции и приема сигналов. Значительное внимание уделяется источникам и каналам без памяти и гауссовским, что вполне естественно, поскольку изучение теории на примере таких источников и каналов, отражающих определенную реальную ситуацию, позволяет довольно быстро войти в существо изучаемого предмета.

Наряду с изложением известных результатов в книге впервые приведен ряд новых, полученных в последнее время автором и его коллегами. Так, например, среди последних имеются результаты, относящиеся к непрерывным каналам и источникам Даны также новые доказательства целого ряда опубликованных ранее результатов.

К сожалению, в книге, как отмечает и сам автор, недостаточно полно отражены результаты, полученные в Советском Союзе. Некоторые из них, непосредственно примыкающие к тексту, указаны в комментарии редакторов, приведенном в конце книги. Отметим здесь, что результаты, полученные в нашей стране, в ряде случаев приводят к

существенному усилению фактов, приведенных автором. Укажем здесь на работы по последовательному декодированию, по -энтропии сообщений и исследованию пропускной способности и кодирования для непрерывных источников и. каналов. Введены интересные новые классы кодов, исправляющих ошибки, предложены обобщения задачи кодирования источника, когда неизвестна его статистика. Весьма существен для развития теории передачи информации выдвинутый А. Н. Колмогоровым новый подход к ее основаниям.

Для чтения книги требуется знакомство с начальными курсами математического анализа, теории вероятностей, а также элементами теории случайных процессов. Кроме того, предполагается, что читатель имеет некоторую подготовку к восприятию математических доказательств.

Наличие большого числа примеров, упражнений и задач в тексте книги способствует более продуктивному ее усвоению, а также приобретению некоторых навыков к исследованию изучаемых проблем. В русское издание включены решения задач, которые в США были изданы отдельной книгой, доступ к которой разрешен лишь профессорам университетов. В библиографию добавлены публикации на русском языке, вышедшие в основном до 1969 г.

В процессе перевода и редактирования был устранен ряд опечаток, часть из которых нам сообщил Р. Г. Галлагер. Вместе с тем у редакторов остается ощущение, что некоторые опечатки исправить не удалось, особенно в тексте задач и их решений. Кроме того, следует отметить, что автор не всегда строго придерживается принятых им обозначений. Однако это не затрудняет чтения и восприятия материала книги.

Без сомнения, предлагаемая книга Р. Г. Галлагера будет полезна широкому кругу специалистов, работающих в самых различных областях, а также студентам и аспирантам, впервые приступающим к изучению предмета. Следует надеяться, что выход книги будет способствовать взаимопониманию математиков и инженеров, сближению теории и практики передачи информации. Книга может послужить твердой основой для намечающихся в последнее время серьезных тенденций расширения области приложения теории и ее методов.

Перевод книги выполнен Б. С. Цыбаковым (гл. 1—5), К. Ш. Зигангировым и М. С. Пинскером (гл. 7—9).

М. С. Пинскер Б. С, Цыбаков

ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ

Одна из моих главных задач при написании этой книги состояла в том, чтобы перекинуть мост между американскими математиками и инженерами, работающими в теории информации. Математики считают, что техническая литература недоступна им отчасти из-за недостаточного понимания реальных проблем связи, а отчасти из-за невнимания к математической строгости, свойственной технической литературе. Инженеры считают, что математическая литература недоступна им из-за широко распространенного использования в ней незнакомых математических результатов. В связи с этим мое мнение состоит в том, что в большей части книги следует использовать лишь простейшие математические методы, ограничивая общность результатов там, где необходимо избежать затруднений, связанных с математическими тонкостями.

Более математически настроенные советские специалисты по теории информации, несомненно, найдут необычным то, что я часто получаю один и тот же результат дважды или трижды в различной степени общности, в то время как доказательство наиболее общего результата так же просто, как и доказательства в менее общих случаях. Это было вызвано желанием не отвлекать внимания студентов, специализирующихся в области техники, от основных идей использованием незнакомого математического аппарата.

Мне бы хотелось принести свои извинения советским коллегам за малочисленность ссылок на советскую литературу. Частично это произошло потому, что существует большая задержка во времени при переводе советской литературы на английский язык, а частично причина была в моем нежелании задерживать публикацию книги на достаточно долгое время, которое требуется для подробного обзора многих важных опубликованных результатов и выяснения их взаимосвязи. Мне кажется, что без этого простое расширение множества ссылок было бы бессмысленным.

Роберт Г. Галлагер