И. т. в основном матем. дисциплина, использующая методы вероятностей теории, математической статистики, линейной алгебры, групп теории, графов теории, игр теории и др. разделов математики. Важной чертой, объединяющей различные дисциплины, которые относят к И. т., является широкое использование ими статистических методов. Это объясняется тем, что процесс извлечения информации связан с уменьшением неопределенности наших сведений об объекте, а естественной численной мерой неопределенности некоторого события является его вероятность.
Важнейшей составной частью И. т. является теория информации передачи. Зачастую термин «И. т.» используют как синоним термина «теория передачи информации».
Основы И. т. были заложены в 1948—49 амер. математиком К. Шенноном (р. 1916). Большой вклад в нее внесли сов. математики А. Н. Колмогоров (р. 1903) и А. Я. Хинчин (1894—1959) и сов. радиотехники В. А. Котельников (р. 1908), А. А. Харкевич (1904— 1965) и др.
Возникновение теории передачи информации связано с решением в 1948 К. Шенноном осн. проблемы нахождения скорости передачи информации, которой можно достичь при оптим. методе кодирования и декодирования так, чтобы вероятность погрешности при передаче была сколь угодно мала. Эта оптим. скорость передачи, называемая пропускной способностью канала связи, выражается через введенную Шенноном величину, называемую информации количеством. Задачи, связанные с оптим. способом хранения информации, принципиально не отличаются от задач оптим. передачи информации, т. к. хранение информации можно рассматривать как ее передачу, но не в простр., а во времени. Осн. теоремы И. т. первоначально носили характер теорем существования, в которых доказывалось существование оптим. методов кодирования и декодирования, но не указывались способы их построения и тех. реализации. Поэтому за последние десятилетия получила широкое развитие кодирования теория, посвященная построению конкретных и относительно простых алгоритмов кодирования и декодирования, приближающихся по своим возможностям к оптим. алгоритмам, существование которых доказывается в теории передачи информации. Для теории кодирования характерным является то, что наряду со статистическими методами она использует для построения конкретных кодов алгебр, и комбинаторные идеи.
К И. т. относят также всю совокупность приложений статистических методов к описанию способов преобразования сигналов на входе и выходе каналов связи. С матем. точки зрения — это просто некоторые приложения матем. статистики (в первую очередь статистики случайных процессов), предсказания случайных процессов теории, теории игр и пр. К И. т. естественным образом примыкает теория распознавания образов, разрабатывающая алгоритмы распределения объектов по некоторым классам, которые описаны лишь на интуитивном уровне и не допускают четкого матем. задания. Такие алгоритмы всегда включают в себя процесс обучения по некоторому списку объектов, которые человек заранее классифицировал. При любой логич. трактовке И. т. трудно оставить вне ее пределов матем. статистику, поскольку осн. задачей последней является задача описания алгоритмов извлечения информации из опытных данных и распределения объектов по некоторым классам на основе наблюдения их признаков. То, что матем. статистику по традиции не рассматривают как раздел И. т., можно исторически объяснить тем, что возникла она намного раньше, чем остальные разделы И. т. К И. т. естественно было бы отнести также всю лингвистику, т. к. она является наукой, изучающей осн. способ передачи информации в человеческом обществе — речь, и информатику, изучающую способы записи информации в различного рода документах.
Лит. см. к ст. Информации передача.
Р. Л. Добругиин, В. В. Прелое.
