максимальной скорости переработки информация при арифм. операциях и др.). В соответствии с принятым критерием оптимизации различают несколько направлений в К. т. Наиболее известными из них являются статистическое кодирование и помехоустойчивое кодирование. Объектами кодирования могут быть как дискретные (более развиты), так и непрерывные сообщения. Процесс передачи дискретных сообщений в системе связи схематично можно представить следующим образом. Источник дискретной информации случайным образом выбирает сообщение 
из фиксированного множества 
. В канал связи поступает сложный сигнал 
заранее выбранный из мн-ва 
. В канале связи сигнал 
под воздействием помех трансформируется в случайный сигнал Z. После получения его на выходе приемного устр-ва образуется сигнал 
принадлежащий мн-ву 
выходных сложных сигналов. На основании анализа сигнала Y принимается решение об отождествлении его с одним из сообщений 
принадлежащих мн-ву 
Если 
переданное сообщение принято правильно. Начала К. т. заложил в 1948 амер. математик К. Э. Шеннон (р. 1916). Им сформулированы и доказаны два основных результата, которые определили развитие К. т. в последующие годы. Один из них утверждает, что для случая канала без помех возможно осуществить кодирование дискретных сообщений таким образом, чтобы среднее количество двоичных знаков на элемент алфавита А было как угодно близко, но не менее некоторой величины Я (Я — энтропия источника информации), определяемой статистическими свойствами источника. Указанное кодирование получило название статистического (эффективного).
Допустим, что мн-во 
содержит 4 независимых элемента: 
с вероятностями появления их соответственно 
Осуществим преобразование сообщений в сложный двоичный сигнал следующим образом: 
. Если пропускная способность канала связи 
двоичных единиц в секунду (битов), то на передачу одного элемента сообщения требуется два двоичных символа (0 либо 1), а число элементов, передаваемых в секунду, равно 500. Число двоичных знаков, необходимых для передачи сообщения, напр., из 
элементов, равно 
Приведенный способ кодирования сообщений 
не является оптимальным (наилучшим в смысле приближения скорости передачи к максимально возможной). Для построения оптим. кода необходимо учесть статистическую структуру источника сообщений. Применим следующий способ кодирования: 
. В этом случае средняя длина закодированной последовательности из N элементов (N — большое число) равна 
Если 
элементов, то длина закодированного сообщения равна 17 500 двоичных знаков, т. е. она меньше, чем в предыдущем случае. Можно показать, что это значение является минимально возможным.
Второй результат, полученный К. Шенноном, утверждает, что и для канала связи с шумами существует такой способ кодирования конечного количества информации, при котором информация будет передана с какой угодно высокой достоверностью, если только скорость поступления ее не превышает пропускную способность канала связи. Реализация этой возможности неразрывно связана с теорией и техникой кодов корректирующих и помехоустойчивых методов приема. Теоремы Шеннона устанавливают только существование оптимальных или близких к ним кодов, но не указывают способа построения их.
В общем случае условия осн. теорем Шеннона выполняются лишь при увеличении длины кодируемых сообщений (к-во элементов алфавита А, составляющих один элемент мн-ва 
до бесконечности. При этом необходимо иметь в виду возникновение нежелательной большой задержки передаваемого сообщения во времени, и, кроме того, существенное усложнение кодирующих и декодирующих устройств. Затраты, связанные с усложнением этих устройств, могут оказаться соизмеримыми и даже большими, чем затраты на повышение верности (помехоустойчивости) передачи путем увеличения мощности передатчика, расширения полосы частот канала, усложнения способа приема (выделения полезного сигнала на фоне шумов в приемнике) и т. п.
Исследования в области К. т. ведутся в основном в направлении обоснования и разбора условий осн. теорем Шеннона и в направлении создания наилучших методов кодирования информации в тех ситуациях, когда возможно применение этих методов.
Большое значение придается поискам способов кодирования и декодирования, близких к оптимальным и достаточно простых при аппаратурной реализации. Актуальной остается проблема выбора оптим. способа кодирования по комплексному критерию, учитывающему эконом, потери, вызванные задержкой в доставке информации или помехами в канале связи и устройствах обработки информации, а также затраты на усложнение аппаратуры, обусловленное необходимостью применять помехоустойчивое кодирование. Выбор оптим. способа помехоустойчивого кодирования при заданных условиях передачи (характеристиках помех в канале свяи) также является сложной задачей. Ее, как правило, решают для фиксированного метода приема. Кроме решения общих задач на оптимум, заключающихся в отыскании кодов, позволяющих достигнуть предельных значений скорости или верности передачи, К. т. рассматривает и ряд более узких задач, в частности, задачу построения кода с миним. избыточностью сообщений при заданном количестве элементов этого кода и его заданной корректирующей способности.
Все перечисленные проблемы нельзя считать решенными в полной мере, несмотря на то, что уже имеется ряд практически важных результатов, позволяющих создать хорошие системы передачи информации.
К осн. результатам К. т. относятся: методы построения эффективных неравномерных кодов для коррелированного алфавита 
и некоторых коррелированных последовательностей элементов алфавита 
асимптотические оценки корректирующей способности кода при заданном числе 
элементов в кодовом слове и объеме кода 
алгебраические методы построения кодов, исправляющих заданные разновидности ошибок; методы декодирования циклических кодов; методы последовательного и мажоритарного декодирования и методы построения кодов, позволяющих обнаруживать и исправлять ошибки при выполнении арифм. и логич. операций. Результаты К. т. широко применяют в автоматов теории, технике связи и радиолокации, биологии (при изучении особенностей передачи генетической информации) и в лингвистике математической. Статистическое (эффективное) и помехоустойчивое кодирование применимо не только при передаче информации в пространстве, но и при ее арифм. и логич. обработке (см. Код), поиске (опознавании) и хранении (передаче во времени). Имеются, в частности, попытки распространить осн. результаты помехоустойчивого кодирования по теории Шеннона и на вычислительные каналы (см. последнюю работу библиографии). Лит.: Харкевич А. А. Борьба с помехами. М., 1963 [библиогр. с. 273—275]; Добрушин Р. Л. Теория оптимального кодирования информации. В кн.: Кибернетику — на службу коммунизму, т. 3. М.- Л., 1966; Шеннон К. Работы по теории информации и кибернетике. Пер. с англ. М., 1963 [библиогр. с. 783—820]; Фано Р. М. Передача информации. Статистическая теория связи. Пер. с англ. М., 1965; Виноград С., Коуэн Дж. Д. Надежные вычисления при наличии шумов. Пер. с англ. М., 1968 [библиогр. с. 111—112].
Г. Ф. Янбых
