ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА

Книга Фано — это лучший из существующих учебников теории информации. Ее автор — один из виднейших членов группы специалистов по теории информации, работающий в Массачусетском технологическом институте. Эта группа включает в себя многих видных специалистов, в том числе и основоположника теории информации Клода Шеннона. Им принадлежит основная часть идей, развиваемых в настоящее время в теории информации. Книга Фано основана на курсе лекций, читавшемся в этом институте для будущих специалистов в области электросвязи, и она полностью соответствует современному уровню развития теории информации.

Написанная с должным педагогическим мастерством книга Фано начинается с введения основных понятий теории вероятностей, так что формально у читателя предполагаются лишь предварительные знания математического анализа. В то же время, по существу, требуемый от читателя уровень математической подготовки достаточно высок.

Математически строгое изложение результатов теории информации, связанных с непрерывными каналами, требует очень сложных абстрактных построений, доступное изложение которых не совместимо с требованиями полной математической строгости. Однако автору в основном удалось справиться с трудной дилеммой — сохранить популярность и в то же время нигде не опуститься до вульгаризации существа проблемы.

Редактором и переводчиками совместно составлены примечания (идущие под общим обозначением прим. ред.), в которых отмечены основные отступления автора от математической строгости, а также приведены и ссылки на литературу, где можно найти более строгое изложение.

Особняком стоят в книге гл. 8 и 9, посвященные важным и глубоким ранее не публиковавшимся исследованиям автора. Как это часто бывает с изложением своих результатов первооткрывателем, изложение несовершенно по форме. В нем имеются также существенные логические пробелы (см. примечания к разд. 9.4). Эти главы можно рекомендовать для изучения

читателям, специально интересующимся соответствующими вопросами.

В книге излагается лишь теория, связанная с существованием и несуществованием способов передачи и (если не считать разд. 7.4) в ней не рассматриваются навеянные этой теорией эффективные методы кодирования (блоковые коды, исправляющие ошибки, и методы последовательного декодирования). В этом отношении книгу Фано прекрасно дополняют выпущенные недавно в русском переводе книги Питерсона и Возенкрафта и Рейффена. Эти книги в совокупности можно рассматривать как достаточно полное изложение современных достижений теории информации, причем начинать изучение предмета следует с книги Фано, переходя затем к книге Питерсона. Единственный досадный пробел — это отсутствие в книге монографического изложения теории кодирования при заданном критерии точности (теории -энтропии). С этой теорией можно ознакомиться непосредственно по работам Шеннона.

Книгу Фано можно рекомендовать и читателю-математику, поскольку материал, изложенный в предназначенных для него, написанных по всем канонам математической строгости монографии Файнстейна и готовящейся к переводу книге Вольфовица, ограничен и, в частности, не включает теории непрерывных каналов.

Книгу Фано будут, конечно, читать также ученые самых различных специальностей, имеющие дело с понятием информации. Было бы нечестно не сказать здесь, что для их подавляющего большинства интерес к теории информации объясняется терминологическим недоразумением, подкрепленным тем, что в популярной и полупопулярной кибернетической литературе давно уже бытует традиция выдавать принципиально возможное за уже достигнутое и закрывать глаза на то, что каждая теория имеет специфически очерченный круг приложений, расширение которого занятие достаточно тонкое. Дело в том, что теории, описывающей свойства информации в широком смысле этого слова, пока что нет. Существующая теория связана с кодированием информации в целях ее передачи по каналам связи (обратим внимание на осторожный выбор названия книги Фано). Кроме техники связи, она пока что находит существенные приложения в

теории вычислительных машин и, в ограниченных масштабах, в лингвистике и психологии. А дальше предоставим слово Шеннону: «сознавая, что теория информации является сильным средством решения проблем теории связи (и в этом отношении ее значение будет возрастать), нельзя забывать, что она не является панацеей для инженера-связиста и тем более для представителей всех других специальностей. Очень редко удается открыть одновременно несколько тайн природы одним ключом... Я лично полагаю, что многие положения теории информации могут оказаться очень полезными в этих науках... Однако поиск путей применения теории информации в других областях не сводится к тривиальному переносу терминов из одной области науки в другую. Этот поиск осуществляется в длительном процессе выдвижения новых гипотез и их экспериментальной проверки».

В книге Фано очень четко очерчены основное содержание и круг приложений теории информации, и поэтому ее изучение будет полезно широкому кругу читателей.

Р. Л. Добродушин

ПРЕДИСЛОВИЕ АВТОРА

Эта книга возникла на основе записей лекций, подготовленных для аспирантского курса, читавшегося на факультете электротехники Массачусетского технологического института. Курс был сначала изложен на семинаре в весеннем семестре 1951 г., а первые полные записи лекций были подготовлены в течение весеннего семестра 1952 г.

Мой интерес к теории информации восходит к лету 1947 г., когда после окончания докторской диссертации я начал искать для себя новое поле научных исследований. Это был действительно благоприятный момент. В исследовательской лаборатории электроники вокруг профессора Норберта Винера сосредоточилась весьма активная группа, разрабатывавшая технические приложения его теоретических исследований. Возглавляли эту группу профессор В. Б. Виснер и профессор У. В. Ли. Я глубоко признателен им — так же как и профессору Винеру — за вовлечение меня в круг интересов статистической теории связи.

Меня особенно заинтересовало часто повторявшееся профессором Винером утверждение, что информация о сообщении зависит от ансамбля, из которого сообщение выбрано, и что ее среднее значение может быть отождествлено с энтропией ансамбля. Это понятие казалось мне настолько странным, что я чувствовал настоятельную необходимость его конструктивного обоснования. В марте 1948 г. я получил такое обоснование в терминах кодирования сообщений, которое оказалось весьма похожим на теорему, уже доказанную К. Э. Шенноном, но тогда еще им не опубликованную. Именно в связи с этим я имел удовольствие в первый раз встретиться с Шенноном. На меня произвела такое сильное впечатление широта охвата и глубина его работ, что с тех пор я следую по его стопам. Эта книга в

основном излагает содержание его работ и работ, прямо или косвенно вдохновленных им.

Обработка записей лекций прервалась (если не считать небольшой частичной переработки) из-за подготовки нового курса электромагнетизма для выпускников, которая поглотила подавляющую часть моего времени с 1954 по 1959 гг. За это время были достигнуты большие успехи, благодаря которым значительная часть моих лекционных записей устарела. Среди этих достижений было открытие Возенкрафтом метода декодирования, распахнувшего двери техническому использованию основной шенноновской теоремы кодирования.

Ровно год спустя в феврале 1960 г. я начал подготовку новых записей лекций, рассчитывая, что они явятся первым наброском книги. Из-за очевидного возрастания интереса к этой области, я вскоре убедился, что неотшлифованная книга, которая увидит свет через год, полезнее, чем отшлифованная, но через несколько лет. Однако, чтобы успешно осуществить такую быструю публикацию, нужно было начать подготовку экземпляра в печать задолго до завершения написания рукописи. Я весьма признателен издательству Массачусетского технологического института за согласие на такую рискованную операцию, а также за помощь и содружество персонала издательства. Я в большом долгу также перед мисс Дороти Скенлон, которая напечатала весь черновой набросок с записей, сделанных под диктовку, совмещая это со своими основными секретарскими обязанностями. Ее аккуратность и исполнительность оказали мне неоценимую помощь.

Книга прямо предназначена для аспирантов и инженеров, специализирующихся в области электросвязи. В ней подчеркнуты те точки зрения и те методы анализа, которые, вероятно, окажутся наиболее полезными в их дальнейшей работе. К сожалению, многие важные и интересные разделы не удалось включить в книгу из-за ограниченности ее объема. Они представлены в других книгах и оригинальных статьях, в которых читатель без труда разберется после знакомства с материалом, изложенным в данной книге. Аспиранты, хорошо подготовленные в области теории вероятностей, могут за пятнадцатинедельный семестр

изучить книгу, за исключением двух последних глав и разделов, отмеченных звездочкой. В гл. 8 изложены математические методы, которые оказались весьма полезны при изучении новейших работ и которые нигде не были рассмотрены достаточно подробно; последняя глава состоит из совсем свежих неопубликованных работ.

Я благодарю доктора А. Файнстейна и доктора Б. Мандельбройта за время, потраченное на чтение части первоначальной рукописи, за указание ошибок и за советы по их исправлению. Я также обязан моим слушателям, обратившим внимание на многочисленные опечатки, и в частности Л. Гимпельсону за просмотр корректуры.

Написание этой книги стало возможным благодаря исключительному научному окружению и поддержке, оказанной исследовательской лабораторией электроники. Я хочу также воспользоваться представившейся возможностью, чтобы выразить еще раз мою глубокую признательность директорам лаборатории, как бывшему, так и настоящему, моим коллегам и моим студентам за создание такой стимулирующей и приятной атмосферы. Профессорам Элайесу, Шеннону и Возенкрафту, моим ближайшим коллегам, чьи работы и идеи я попытался изложить в этой книге, я приношу личную и самую глубокую благодарность.

Р. М. Фано

Кембридж, Массачусетс февраль 1961 г.