Глава 1. ПЕРЕДАЧА ИНФОРМАЦИИ
В последнее десятилетие теория связи развивалась в двух основных направлениях. Исходным пунктом для первого направления послужили работы Норберта Винера [1, 2], изложенные в его известных книгах «Экстраполяция, интерполяция и сглаживание временных рядов» и «Кибернетика», а для второго — классические работы Клода Шеннона [3, 4] «Математическая теория связи» и «Связь при наличии шума». Эти фундаментальные вклады в теорию связи, опубликованные в течение нескольких месяцев 1948 и 1949 гг., были в какой-то мере порождены исследованиями военного времени по автоматическому управлению огнем (Норберт Винер) и шифрованию (Клод Шеннон).
Как Винер, так и Шеннон постулируют, что сигнал (или сообщение) и помеха могут быть описаны должным образом только в терминах теории вероятностей, как элементы соответствующим образом определенных ансамблей. Эта точка зрения и характеризует современную теорию связи. Однако математические модели, на которых сосредоточили внимание Винер и Шеннон, довольно сильно различаются. Винер предполагает, что рассматриваемый сигнал может обрабатываться только после его искажения шумом, в то время как Шеннон считает, что его можно обрабатывать как до, так и после передачи по каналу с шумами. В обеих моделях вводится, по существу, одна и та же конечная цель — достоверное воспроизведение исходного сигнала. Так, и Винер, и Шеннон изучали влияние задержки на достоверность воспроизведения, но Винер, в силу того что его интересовали вопросы автоматического управления, уделял гораздо большее внимание предсказанию, т. е. воспроизведению сигналов с отрицательной задержкой.
Может показаться, что эти различия в математических моделях и в целях имеют второстепенное значение, однако в основополагающих исследованиях Винера и Шеннона общим является только вероятностный подход. Винеровская работа и исходящая из нее ветвь теории связи особенно удачно служат решению проблем фильтрации и предсказания, возникающих
в автоматическом управлении. Работы Шеннона и соответствующая ветвь теории связи интересны главным образом для задач эффективного использования каналов связи.
Эта книга посвящена ветви теории связи, основы которой были положены в работах Шеннона. Ее часто называют «Теорией информации» но наименованию меры, лежащей в ее основе. Но тот же самый термин широко используют и для обозначения обеих ветвей теории связи сразу, особенно в Англии даже для обозначения еще более широкой области, включающей некоторые аспекты семантики, лингвистики, нейрофизиологии и психологии.
