Количество информации, передаваемой по каналу связи (взаимная информация).

Рассмотрим некоторый дискретный канал связи, заданный алфавитом

входа и выхода и условным распределением и предположим, что на вход канала непосредственно поступают сообщения от некоторого дискретного источника сообщений с алфавитом А, совпадающим с входным алфавитом канала Это предположение эквивалентно условию, что сам вход канала представляет собой дискретный источник сообщений с алфавитом X и распределением вероятностей последовательностей, составленных из символов этого алфавита. Пусть этот источник имеет некоторую энтропию и выдаёт последовательность х. Тогда, если на выходе канала появилась некоторая последовательность то можно поставить следующий вопрос: как рассчитать количество информации содержащейся в х, при условии, что на выходе появилась последовательность Ответ на него легко получить, воспользовавшись определением частного количества информации (6.8), но при замене безусловного распределения вероятностей на условное, т.е.

Определим условную энтропию входа канала X при известном выходе как аналогично тому, как это было сделано при нахождении энтропии источника из выражения (6.10),

где, как и раньше, верхний индекс в квадратных скобках означает длину входных и выходных последовательностей.

В частном случае канала без памяти легко получить из (6.20)

Условная энтропия обладает следующими свойствами:

(Доказывается по определению

2. Если вход и выход канала связаны взаимно однозначно, т. е.

то (Это свойство очевидно.)

(Требует специального доказательства (см.[16]).)

тогда, и только тогда, когда при всех т.е. когда х и у взаимно независимы. (Проверяется непосредственно.) Приведённые выше свойства позволяют наглядно пояснить смысл понятия условной энтропии Это средняя информация, теряемая с каждым символом в канале связи из-за помех. Действительно, так как то информация из-за помех всегда теряется, но никогда не приобретается. Если ошибки в канале отсутствуют, т.е. каждая входная последовательность переходит в одну, и только в одну выходную последовательность, то то потери информации отсутствуют. (Не исключена ситуация, когда входная

последовательность переходит с некоторыми вероятностями в разные выходные, но всё же по выходной последовательности можно однозначно определить входную. Тогда по-прежнему и потери информации будут отсутствовать.)

Наконец, если выход канала не зависит от входа, а именно это и означает совпадение условных и безусловных вероятностей, то по каналу связи не будет передаваться никакой информации, а поскольку на вход канала поступает информация то вся она оказывается потерянной из-за помех, т. е.

Определим количество информации, передаваемой по каналу связи или взаимную информацию между выходом и входом X как разность между количеством информации, поступающей на вход (которое, как мы знаем, равно энтропии входа и количеством информации, потерянным в канале связи (которое, как мы только что выяснили, равно условной энтропии Поэтому

Эта величина обладает следующими свойствами:

где энтропия выхода и условная энтропия выхода при известном входе определяются совершенно аналогично (6.10) и (6.20), с той лишь разницей, что имеющиеся там распределения должны быть заменены на соответственно. Это свойство требует доказательства (см [16]).

(Следует непосредственно из свойства 3 условной энтропии.)

3. , тогда и только тогда, когда вход и выход канала статистически независимы, т.е. при всех (Следует непосредственно из свойства 4 условной энтропии.)

(Следует из определения и свойства 1 условной энтропии.)

5. Если в канале связи отсутствуют помехи, то

(Следует из свойства 2 условной энтропии.)

(Следует из свойства 1 для количества переданной по каналу информации и свойства 1 для условной энтропии.)

(Получается формально непосредственно из определения, если положить

8. Любые детерминированные или случайные преобразования выходных последовательностей канала, в том числе и группировка наблюдений, т.е. объединение нескольких последовательностей, принадлежащих определённому подмножеству в один символ, не могут увеличить количество информации В случае, если эти преобразования взаимно однозначные — количество информации не меняется. Отмеченное свойство следует из того, что, пройдя по каналу (преобразователю) информация или теряется (при наличии

неоднозначных преобразований) или не изменяется (при однозначных преобразованиях). Это свойство доказывается, например, в [16]. Формула (6.24) для взаимной информации может быть преобразована также к следующему виду, который иногда более удобен для расчётов:

В частном случае канала без памяти получаем

Формула (6.25) подтверждает первоначальное определение как количества информации, передаваемой по каналу связи с помехами. Действительно, если имеется обрыв канала, соответствующий отсутствию статистической связи между входом и выходом, информация по каналу не передаётся (свойство 3). Если в канале помехи отсутствуют,

то информация передаётся полностью (свойство 5).

Свойство 1 оказывается менее очевидным. Оно показывает, что количество информации, передаваемой со входа на выход и "как бы" с выхода на вход, оказывается одним и тем же. По существу это свойство и позволяет определить величину задаваемую соотношением (6.24), как взаимную информацию между (или, что то же самое, между Таким образом, величина подобно коэффициенту корреляции для гауссовских случайных величин выступает здесь как мера статистической зависимости между входом X и выходом канала связи. Свойство 1 упрощает расчёт в некоторых случаях, что определяется следующим свойством условной энтропии. 9. Для двоичного канала с аддитивным шумом (§ 4.5)

где энтропия помехи, задаваемая соотношением (6.10), в котором распределение заменено на распределение образцов ошибок (Данное свойство требует специального доказательства — см., например, Объединив свойство 9 для условной энтропии в канале с аддитивным шумом и свойство 1 для количества передаваемой информации, получаем следующее представление:

Определение взаимной информации наглядно иллюстрируется рис. 6.2.

Рис. 6.2. Иллюстрация передачи информации по каналу с помехами

Если для канала связи задана скорость передачи то аналогично определению производительности источника можно определить скорость передачи информации по каналу связи

Определим пропускную способность С дискретного канала связи с помехами как максимум количества информации по всевозможным распределениям входа канала, т.е.

Из определения видно, что пропускная способность канала связи зависит только от свойств самого канала, т.е. входного и выходного алфавитов и заданного на них условного распределения вероятностей и не зависит от того источника, который подключён ко входу канала. Пропускная способность канала имеет следующие свойства:

(Следует из свойства 1 количества информации.)

(Следует из свойства 2 количества информации.)

тогда и только тогда, когда вход и выход канала статистически независимы, т.е. имеет место "обрыв канала". (Следует из свойства 3 количества информации.)

(Следует из свойства 4 количества информации и свойства 3 для энтропии, в данном случае при отсутствии помех в канале связи. (Следует из свойства 5 количества информации и свойства 3 для энтропии.)

(Следует из свойства 6 для количества информации.) Представляет значительный интерес вычисление пропускной способности для различных каналов связи с помехами. В общем случае это достаточно сложная, а иногда и просто необозримая задача. Однако для некоторых рассмотренных ранее моделей каналов это оказывается вполне возможным. 1. без памяти.

Воспользуемся для расчёта пропускной способности такого канала формулой, определяемой свойством 1:

Покажем, что условная энтропия не зависит от входного распределения Действительно, по её определению для канала без памяти получаем из преобразованного для

Поэтому (6.29) можно переписать следующим образом:

По свойству 3 энтропии но если выбрать равномерное распределение на входе, т.е. то получим

и, следовательно,

причём максимум достигается на равномерном входном распределении. Подставляя (6.33) в (6.31), окончательно получаем

2. 2CK без памяти.

Это частный случай при Подставляя в (6.34), находим (для основания логарифмов 2)

3. Двоичный по входу стирающий канал

(Получение этого выражения требует доказательства, хотя оно и является достаточно простым (см., например

4. Двоичный канал с памятью и аддитивным шумом.

Из свойства 1 для количества информации и свойства 5 условной энтропии получаем

Аналогично тому, как это было доказано в (6.32), получаем, что при выборе взаимно независимых и равновероятных символов символы у, на выходе также оказываются взаимно независимыми и равновероятными. Поэтому выполняется (6.33), подставляя которое в (6.37) находим

Отметим, что энтропия источника помехи в виде последовательности двоичных символов с вероятностями удовлетворяет неравенству

причём равенство наступает лишь для источника помех без памяти.

Таким образом, пропускная способность двоичного канала с памятью (6.38) больше пропускной способности без памяти (6.35), что является любопытным фактом.

Из формулы (6.34) видно, что для при Это как раз и соответствует случаю "обрыва канала связи", поскольку каждый из входных символов с равной вероятностью переходит в любой из выходных. Наблюдая выходные символы, нельзя отдать предпочтение ни одному из входных символов, а это и соответствует понятию обрыва канала, когда передача информации по нему оказывается совершенно бесполезной, поскольку тот же результат может быть получен при случайном угадывании входных символов в точке приёма.

На рис. 6.3 показана зависимость пропускной способности без памяти от вероятности ошибки символа в канале связи. Как и следовало ожидать, пропускная способность равна нулю при Несколько неожиданным на первый взгляд может показаться то, что также и при Однако в действительности случай, когда это отнюдь не состояние канала с наибольшими помехами, а состояние с так называемой обратной работой, когда все нули переходят в единицы, а единицы — в нули. Однако поскольку это свойство канала предполагается заранее известным (так как нам известно, что то мы можем осуществлять декодирование по правилу Тогда все входные символы будут приниматься абсолютно верно, и поэтому вполне естественно, что пропускная способность такого канала равна максимальной величине.

Заметим, что эта ситуация отличается от "обратной работы", описанной в гл. 5 и являющейся следствием квазикогерентного приёма ФМ сигналов. Дело в том, что скачки фазы там возникают в случайные моменты времени, приводя к участкам то правильной, то "обратной работы". Мы не знаем моментов скачков и поэтому не можем скорректировать их обратным декодированием. Модель такого канала отнюдь не эквивалентна имеющему вероятность ошибки

Подчеркнём, что формула для пропускной способности имеет наиболее простой вид при выборе двоичного основания логарифма, когда пропускная способность канала связи измеряется в дв. ед./символ или, что то же самое, — в бит/символ.

Можно определить пропускную способность канала в единицу времени как

где скорость передачи символов по каналу связи (число символов в 1 с). Если при определении использован двоичный логарифм, то будет измеряться в

Аналогично условной энтропии можно ввести понятие средней условной взаимной информации. Ограничиваясь" для простоты случаем канала без памяти, получаем

Рис. 6.3. Зависимость пропускной способности без памяти от вероятности ошибки символа

Однако в отличие от условной энтропии, для которой всегда справедливо неравенство (6.22), условная взаимная информация может быть меньше, больше или равна безусловной взаимной информации

Помимо средней условной взаимной информации можно определить также среднюю взаимную информацию между парой

Между данными величинами существуют следующие соотношения |16|:

Для того чтобы наглядно пояснить разницу между величинами которые на первый взгляд могут показаться одинаковыми, рассмотрим следующую модель канала связи:

где означает суммирование по некоторые двоичные случайные величины, причём наглядно z означает вход канала, выход канала, помеху в канале, а у — дополнительную преобразующую последовательность на передаче.

Тогда если у не зависит от то и в соответствии с где энтропия помехи Если же взаимно зависимы, то и поэтому . В частном случае, если то

Теоретико-информационные понятия, приведённые в данном разделе, можно рассматривать в двух аспектах: как развитие математического аппарата, примыкающего к теории вероятностей, и как характеристику, поясняющую процесс передачи информации по каналам связи с помехами. Действительно, мы знаем теперь, что средняя информативность источника может быть количественно оценена его энтропией, а каждому источнику, соединённому с каналом связи, можно приписать некоторое число, которое выражает количество информации, переданной по этому каналу. Более того, каждому каналу соответствует некоторое предельное количество информации, называемое его пропускной способностью, больше которого данный канал связи не может передать ни от какого из источников сообщений. Эта пропускная способность максимальна при отсутствии помех и равна нулю при потере статистической связи между входом и выходом канала Казалось бы, мы получили сведения, позволяющие нам значительно продвинуться вперед в направлении понимания процессов передачи сообщений по каналам с помехами. Однако это ещё лишь некоторое "предвосхищение результатов". Действительно, как мы можем использовать значение энтропии источника для чего-либо большего, чем тавтология, утверждающая, что он генерирует среднюю информацию, равную энтропии? Как превратить наше определение пропускной способности канала в более реальные в практическом отношении характеристики процесса передачи информации — надёжность и скорость передачи символов источника? Много это или мало, что пропускная способность одного канала больше другой на на в 10 раз? Важный факт говорит о том, что обрыв канала возникает при отсутствии статистической связи входа и выхода, т.е. легко получается и без использования информационного аппарата. Итак, мы испытываем пока некоторое разочарование в теории информации. Нам начинает казаться, что "гора родила мышь". Однако это происходит лишь потому, что мы не затронули пока самого важного аспекта теории информации — теорем кодирования. Именно они и позволяют ответить на все сформулированные выше, а также и на многие другие вопросы. Заметим, что для доказательства и наглядной трактовки теорем кодирования совершенно не требуется интуитивного понимания энтропии, условной энтропии, количества информации и т.д. Вполне

достаточным оказывается рассматривать данный раздел именно как развитие некоторого математического аппарата, доказывающего свойства этих специфических функций вероятностных распределений.