8.6. Условная взаимная информация

Как в более общем случае можно найтн вероятности символов дающие пропускную способность канала? В этом разделе приводится один полезный результат, который во многих случаях помогает ответить на поставленный вопрос.

Возвращаясь к общему каналу, можно написать

где введена условная взаимная информация

В общем случае зависит от а. Однако имеет место следующая теорема: если вероятности входных символов выбраны так, что достигается пропускная способность канала С, то

для каждого а (для которого ).

Для доказательства этого предположим, напротив, что для некоторого символа эта величина превосходит С. Поскольку среднее значение всех равно С, то для некоторого символа эта величина должна быть меньше С. Таким образом,

Рассмотрим бесконечно малое изменение, которое увеличивает и уменьшает на одно и то же значение (сохраняя сумму вероятностей, равной 1). Скорость изменения задается разностью

Однако изменение вероятностей индуцирует изменение вероятностей Скорость изменения каждой вероятности равна Из выражения для взаимной информации получаем, что общая скорость изменения равна.

Поскольку скорость передачи равна пропускной способности канала, т. е. своему максимально возможному значению, и поскольку мгновенная скорость изменения при указанном приращении положительна, то при достаточно малом изменении можно получить скорость передачи, большую пропускной способности. Поэтому предположение о том, что существует символ, для которого больше пропускной способности, неверно. Если скорость передачи равна пропускной способности, то для каждого входного символа условная взаимная информация равна пропускной способности.

Этот результат в различных конкретных ситуациях часто может помочь найти вероятности при которых достигается пропускная способность канала; эти вероятности можно искать одну за другой.