1.2. История

Теория кодирования и теория информации возникли очень давно. Многие главные идеи были понятны задолго до 1948 г., когда возникла прочная основа для этих двух теорий. В 1948 г. Клод Е., Шеннон опубликовал в Bell System Technical Journal две статьи, озаглавленные «Математическая теория связи» (перепечатаны в [14]). Они почти сразу же сделали теорию информации широко известной, и скоро в журналах появились статьи по теории информации, а на электротехнических и других факультетах различных университетов началось чтение лекции по этой дисциплине. Для теории информации, что типично для внезапно возникающих научных направлений, большинство первых приложений оказалось неудачным, однако по-другому, видимо, невозможно установить границы применяемости новой теории. В результате того, что от теории информации ожидалось больше, чем она могла дать, наступило разочарование и сокращение числа читаемых курсов. Сейчас можно, вероятно, дать более справедливую оценку теории, находящуюся где-то между сильным энтузиазмом первых дней и последующим разочарованием.

Теория информации устанавливает границы того, что можно сделать, однако мало помогает при проектировании конкретных систем. Делающийся отсюда вывод о бесполезности теории информации является, как показывает следующая аналогия, неверным. Рассмотрим теорию эволюции, которую предлагают студентам-биологам. Хотя лишь очень немногим из студентов удастся применять ее в течение жизни, эта теория может служить источником ценных идей. Несмотря на отсутствие непосредственных применений, идеи теории эволюции могут быть плодотворно использованы в других часто весьма далеких от биологии ситуациях, в которых имеются 1) небольшие изменения составных частей (отклонения); 2) выживание наиболее приспособленных (отбор).

При рассмотрении какого-либо учреждения, например, факультета вычислительной математики, университета, военной организации, банка, правительства или даже семьи, возникают вопросы: «Как возникла данная ситуация?» и «Какие силы обеспечили выживание данной конкретной структуры?»

При более глубоком понимании силы теории возникают вопросы: «Какие изменения в учреждении возможны при данной расстановке сил?» и «Как оно будет эволюционировать (что именно

выживет)?» Таким образом, идеи теории эволюции могут быть использованы в ситуациях, весьма далеких от биологии.

Точно так же ряд идей теории информации можно применить в ситуациях, весьма далеких от тех, которые в ней рассматриваются. Применимость идей не всегда удается точно проследить - часто они лишь наводят на некоторую мысль — однако сами идеи весьма полезны.

Примерно в то же время и в том же месте, что и теория информации, возникла теория кодирования. Однако публикация основной работы была задержана по патентным соображениям до апреля 1950 г., статья появилась опять в Belt System Technical Journal (перепечатана в [3, 4]). В теории кодирования математические основы не столь сложны, как в теории информации, и поэтому в течение долгого времени она не была столь же привлекательной для теоретиков. Однако по прошествии времени в теории кодирования начали применяться различные разделы математики, такие как теория групп, теория конечных полей (теория Галуа) и даже линейное программирование. В результате, к настоящему времени теория кодирования стала активно развивающейся областью? математики [2, 8, 11, 12, 16].

В большинстве областей знания ошибки играют второстепенную роль; они проявляются лишь на более поздних этапах исследования. Однако в теории кодирования и теории информации ошибкам (шумам) отводят центральную роль. Поэтому эти теории особенно интересны, поскольку в реальной жизни шум присутствует всюду.

С точки зрения логики теория кодирования приводит к теории информации, и теория информации определяет границы того, что можно достичь подходящим методом кодирования информации. Таким образом, обе теории тесно связаны между собой, хотя в прошлом их развитие шло в значительной мере независимо. Одна из основных целей написания данной книги — показать взаимосвязь этих теорий. Более подробно история развития теории кодирования изложена в [3].