НЕКОТОРЫЕ ЗАДАЧИ ТЕОРИИ ИНФОРМАЦИИ
Предыдущая работа по теории связи показала, что количество информации имеет в рамках теории связи естественную количественную меру, задаваемую формулами типа формулы для энтропии 
Это привело к теоремам, дающим наиболее эффективные методы кодирования сообщений, создаваемых стохастическим процессом, в стандартной форме, скажем, в случайную последовательность двоичных знаков, предназначенных для наиболее эффективного использования существующих каналов связи. Однако не было определено понятие информации как таковой. Оказывается возможным сформулировать подход к теории, в которой источники информации в системе, передающей сообщения, являются элементами структуры.
Ведущая идея состоит в том, что любое обратимое преобразование сообщений, создаваемых стохастическим процессом, скажем, посредством невырожденного преобразователя с конечным числом состояний, следует рассматривать как содержащее ту же информацию, что и первоначальное сообщение. С точки зрения теории сообщений знание зашифрованного кодом Морзе текста телеграммы эквивалентно знанию самого текста. Таким образом будем считать информацию источника эквивалентным классом всех обратимых преобразований сообщений, создаваемых источником. Каждое частное преобразование является представителем этого класса, аналогично тому как тензор задается своими компонентами в некоторой координатной системе частного вида.
В зависимости от выбора множества преобразований, рассматриваемых как эквивалентные, могут быть получены различные теории. Два способа выбора ведут к интересным и приложимым на практике результатам: 1) группа всех преобразователей с конечным
множеством состояний (эффективно допускающих положительные или отрицательные задержки); 2) группа преобразователей без задержек с конечным множеством состояний, причем требуется, чтобы имеющийся в настоящий момент символ на выходе был функцией от входа в настоящий и прошлый момент и аналогично для обратного преобразователя.
Первый случай — самый простой и связан более тесно с предыдущей работой, в которой допускались неограниченные задержки кодирования в передатчике и приемнике. Транзитивное соотношение включения между элементами информации: 
(указывающее на частичную упрядоченность) означает, что у может быть получен из х с помощью преобразователя с конечным числом состояний (не обязательно обратимого). Энтропия источника (которая инвариантна относительно группы обратимых преобразований) оказывается нормой, монотонно зависящей от порядка. Наименьшая верхняя грань двух элементов является полной информацией об обоих источниках, представлением которой может служить последовательность упорядоченных пар сообщений, получаемых из двух источников. Наибольшая нижняя грань также может быть определена; таким образом, в результате возникает информационная структура. Точная нижняя грань будет существовать всегда, а если множество рассматриваемых источников конечно, то будет существовать и точная верхняя грань. Полученная таким образом структура, вообще говоря, немодулярна. В действительности может быть построена информационная структура, изоморфная любой конечной дискретной структуре.
С помощью формулы 
может быть определена метрика, удовлетворяющая обычным требованиям. Эта метрика вводит топологию — понятие сходящихся в смысле Коши последовательностей информационных элементов и понятие предельной точки. Если сходящиеся последовательности добавлены к структуре как новые точки (с соответствующими модификациями определения равенства и т. д.), то образуются непрерывные структуры, например совокупность всех абстракций полной информации в системе преобразователей с конечными множествами состояний или в предельных последовательностях таких преобразователей.
Теория преобразователей без задержек также ведет к некоторой структуре, но соответствующие задачи, которые, возможно, более важны для приложений, изучены хуже. Энтропии источника теперь уже недостаточно для того, чтобы охарактеризовать источник для целей кодирования, и действительно может быть найдено бесконечное количество независимых инвариантов источника. Некоторые из
них связаны с задачей наилучшего предсказания следующего символа, который должен быть произведен при условии, что уже известна вся предыстория. Теория преобразователей без задержек имеет приложение к проблеме передачи сообщения по каналу в случае, когда в нашем распоряжении имеется второй канал для передачи информации в обратном направлении. Второй канал может быть использован в некоторых случаях для улучшения прямой передачи. Для этого случая найдены верхние границы для пропускной способности прямого канала. Теория преобразователей без задержек имеет также приложение к проблеме сглаживания и предсказания по методу наименьших квадратов. Фильтр с минимальной фазой имеет обратный фильтр (без задержки) и, следовательно, принадлежит к группе преобразователей без задержек непрерывных временных рядов. Проблема предсказания по методу наименьших квадратов может быть решена при помощи преобразования рассматриваемых временных рядов в каноническую форму и нахождения оператора наилучшего прогноза для этой формы.
