Предисловие

Толчком к написанию настоящей книги послужило чтение автором курса лекций по теории информации на физическом факультете МГУ в 1963—1965 гг. Сначала книга писалась в соответствии с содержанием этих лекций. Планировалось построить ее так, чтобы отразить все важнейшие достижения шенноновской теории информации. Но в процессе работы над книгой автор «сбился» на более привычный для него стиль работы, в котором доминирующее место занимает самостоятельная разработка, вместо досконального штудирования имеющихся результатов. Это привело к включению в книгу оригинального материала и к оригинальной трактовке многих положений теории. Оригинальный материал вытеснил часть установившихся результатов, которые планировалось включить в книгу. Так, например, была опущена глава, посвященная известным конкретным способам кодирования и декодирования в каналах с помехами.

Включенный в книгу материал располагается по трем ступеням: первая, вторая и третья вариационные задачи и соответственно первая, вторая и третья асимптотические теоремы. Тем самым создается четкая панорама основного, наиболее принципиального содержания шенноновской теории информации.

Всякий стиль работы имеет свои достоинства и свои недостатки. Недостатком принятого стиля является то, что остается неотраженной (или недостаточно отраженной) работа многих ученых в данной области. Этот факт не следует расценивать как свидетельство недостаточного уважения к ним. Как правило, не дается оценка оригинальности материала, классификация авторской принадлежности результатов. Исключение делается лишь для немногих явных фактов.

В книге принят «принцип нарастающей сложности материала», заключающийся в том, что в начале книги (а также главы) помещается более простой и доступный материал. При этом от читателя не требуется знакомства с более сложным и специальным материалом, расположенным ближе к концу книги (главы). Такой принцип позволяет включать в книгу сложный материал, не делая ее недоступной для довольно широкого круга читателей. Хочется надеяться, что многие читатели почерпнут из книги кое-что полезное для себя.

При рассмотрении общих вопросов автор старался вести изложение с наибольшей возможной общностью. Для этого он иногда пользуется языком теории меры (например, распределение вероятностей записывает в виде Это не должно отпугивать тех, кто не владеет, указанным языком. Дело в том, что, опуская детали, можно пользоваться простым словарем, переводящим эти

«страшные» термины в привычные. Так, например, под «вероятностной мерой можно понимать вероятность в случае дискретной случайной величины или произведение для непрерывной случайной величины, где плотность распределения вероятностей, дифференциал, соответствующий пространству размерности

Ориентируясь на различных читателей, автор при изложении материала не придавал значения выдержанности терминологии, считая, что безразлично сказать, допустим, «математическое ожидание» или «среднее значение», «вероятностная мера» или «распределение». Если пользоваться обобщенными функциями, то всегда существует плотность распределения вероятностей и ею можно пользоваться. Часто не возникает надобности различать знаки минимизации и имея в виду, что, еслиинфимум на рассматриваемом множестве не достигается, всегда можно «включить в действие» совершенно стандартную -процедуру и в сущности в результатах ничего не изменится. В тексте книги довольно свободно делается переход от дискретного вероятностного пространства к непрерывному. На несущественных деталях автор старался не задерживать внимание читателя, чтобы не отвлечь от главного.

Общие положения теории проиллюстрированы в книге многочисленными частными случаями и примерами. Вследствие общего значения теории и примеров при их изложении специальная радиофизическая терминология не употребляется. От читателя, интересующегося применением изложенного материала к проблеме передачи сообщений по радиоканалам, требуется умение наполнить абстрактные понятия радиофизическим содержанием. Так, например, при рассмотрении каналов с помехами (гл. 7) входной случайный процесс нужно трактовать как переменный информационный параметр сигнала излучаемого радиопередатчиком, а выходной процесс как сигнал на входе приемника. Правильная конкретизация понятий нужна для применения любой математической теории.

Автор выражает благодарность первому читателю этой книги Б. А. Гришанину, который оказал большую помощь при подготовке ее к печати, а также проф. В. И. Тихонову за обсуждение затронутых вопросов и ряд сделанных замечаний.