Взаимная информация для каналов с непрерывным временем

Пусть из является сигналом на входе, сигналом на выходе канала с непрерывным временем. Пусть полное множество действительных ортонормальных функций, определенных на интервале Тогда можно представить на интервале в виде

Аналогично, если полное множество ортонормальных функций на интервале то можно представить с помощью случайных величин

Множество может совпадать с множеством и такой выбор часто оказывается удобным.

Положим последовательности Канал может быть описан статистически через совместные условные плотности вероятности заданные для всех Для того чтобы избежать влияние при примем, что для Для простоты примем также, что для всех N входной ансамбль может быть описан совместной плотностью вероятности Взаимная информация между для 0 если она существует, определяется равенством

где

Средняя взаимная информация между входом и выходом на интервале если она существует, определяется равенствами

Заметим, что является неявной функцией Пропускная способность канала на единицу времени определяется равенством

где

а верхняя грань берется по всем входным распределениям вероятностей, согласующимся с ограничениями на входе канала. Величина, стоящая в скобках в приведенном выше выражении, представляет собой максимум взаимной информации, которая может быть передана за время Для произвольного непрерывного канала при указанный выше предел не обязательно существует, и пропускная способность определена лишь в том случае, когда этот предел существует. Если С существует, то обращение теоремы кодирования, очевидно, остается в силе, однако прямая теорема кодирования необязательно имеет место, т. е. можно построить примеры каналов с пропускной способностью, определяемой (8.1.55), но таких, что при скоростях, меньших пропускной способности, данные не могут быть переданы с произвольно малой вероятностью ошибки.