Выпуклость вниз кривой R(d)

Предположим, что на кривой имеются две точки: — достигнутая при выборе в качестве вероятностей перехода — достигнутая при выборе Рассмотрим линейную комбинацию этих вероятностей Такая линейная комбинация приводит к значению не большему (в силу линейности чем . С другой стороны, известно,

что скорость передачи по каналу является выпуклой функцией переходных вероятностей канала. Отсюда Минимизация по при фиксированном должна привести к величине, не превосходящей Поэтому кривая как функция от (или наоборот) выпукла вверх.

Очевидно, что принимает минимально возможное значение, если при каждом переходной вероятности приписано значение 1 для тех при которых минимально. Таким образом, наименьшее возможное можно записать как

Так если алфавит отображается в алфавит то и соответствующее значение есть обычная энтропия или скорость создания сообщения источником. В более общем случае, если только существует единственный то может быть также легко найдено. Для этого надо вычислить при упомянутом выше задании . В других случаях вычисление несколько сложнее.

С другой стороны, так как средняя взаимная информация положительна, за исключением случая, когда события независимы, то тогда и только тогда, когда является функцией только у. Для заданных определяющих искажение равно тогда Сумма по в последнем выражении неотрицательна. Для того чтобы минимизировать при надо найти у (скажем при котором имеет минимум, и принять, что Это можно осуществить, положив (все Другие значения равны 0).

Итак, есть выпуклая вниз функция, изменяющаяся от

В точке до 0 в точке как показано на рис. 3. Внутри этого интервала в силу выпуклости имеет место непрерывность в обе стороны как функция от и какфункция от и функция строго монотонно у бывает. Для скорость Легко также видеть, что для нахождения при произвольном из интервала от До надо задавать так, чтобы удовлетворяло равенству (а не неравенству ). При для минимизирующего может иметь место и неравенство. Следовательно, проблема минимизации может быть ограничена рассмотрением минимума в подпространстве исключая область (где

Выпуклость как функции заданных помогает в вычислении в специальных случаях. Из этого вытекает, что любой локальный минимум (в подпространстве, соответствующем фиксированному есть абсолютный минимум в этом подпространстве. В противном случае можно было бы соединить локальный и абсолютный минимумы отрезком прямой и найти вдоль этого отрезка непрерывный ряд точек, лежащих ниже локального минимума. Это противоречит определению локального минимума.

Рис. 3.

Далее, функции имеют непрерывные производные внутри допустимого множества значений Поэтому для нахождения минимума могут быть использованы обычные вычислительные методы (например, множители Лагранжа). Но, вообще говоря, при этом возникает необходимость решения системы совместных уравнений.