Двойственность источника и канала

Существует любопытная и поучительная двойственность между свойствами источника с мерой искажения и свойствами канала. Эта двойственность проявляется в большей степени, если рассматривается канал, в котором задана «цена», связанная с различными входными

буквами, и стоит задача нахождения пропускной способности при условии, что ожидаемая цена не превысит определенной величины. Пусть, например, входная буква имеет цену и наша задача сводится к нахождению пропускной способности при дополнительном ограничении где - вероятность появления на входе буквы Эта проблема математически равносильна проблеме максимизации взаимной информации при вариации с линейным неравенством в качестве ограничения. Решение этой проблемы дает пропускную способность канала как функцию цены Легко показать, что эта функция выпукла вверх. Решение этой проблемы соответствует в определенном смысле нахождению источника, согласованного с каналами и с заданной «ценой».

С другой стороны, вычисление функции для источника математически равносильно минимизации взаимной информации изменением опять-таки при линейном неравенстве в качестве ограничения. В результате получаем выпуклую вниз функцию Решение этой проблемы соответствует нахождению канала, согласованного с источником и заданным уровнем искажения. Эта двойственность может быть прослежена и далее, и она относится к двойственности между прошлым и будущим и понятиями управления и знания. Так, можно обладать знаниями о прошлом, но нельзя управлять им. Можно управлять будущим, не зная его.