Разностная мера искажения

Теперь рассмотрим специальный класс мер искажения для некоторых непрерывных случаев, имеющих важное значение, для которых могут быть получены более явные результаты. Пусть пространствами и будут теперь множества всех действительных чисел. Мера искажения будет называться разностной мерой искажения, если она является функцией только разности Широко распространенными примерами такой меры могут служить критерий квадратичной ошибки или критерий абсолютной ошибки

Определим нижнюю грань для разностной меры искажения. Прежде всего определим следующим образом функцию для данной разностной меры Рассмотрим произвольную функцию распределения пусть Н — энтропия этого

пределения, среднее искажение между случайной величиной с данным распределением и нулем. Таким образом имеем:

Требуется найти максимум варьированием по при условии Верхняя грань, если она конечна, очевидно, достигается при некотором распределении и является максимумом. Этот максимум для заданного обозначаем а соответствующую функцию распределения назовем максимизирующим распределением для этого

Теперь предположим, что имеется функция распределения (обобщенные вероятности букв) в пространстве с энтропией Требуется показать, что

Пусть — множество точек и — заданные переходные вероятности. Тогда взаимная информация между и может быть записана в виде

где — полная вероятность Если — среднее искажение между и то

Это вызвано тем, что является максимумом Н при данном среднем искажении и что искажение есть функция только разности между и Поэтому является максимальным значением при любом Следовательно,

Поскольку энтропия, рассматриваемая как функционал, определенный в пространстве функцией распределения, обладает свойством выпуклости, в том же пространстве линейно, то с помощью рассуждений, аналогичных приведенным выше, можно доказать, что является выпуклой вниз функцией. Из этого вытекает, что где — среднее искажение при выбранных и заданных переходных вероятностях.

Отсюда следует, что

Поскольку это справедливо для любого выбора наше утверждение доказано.

Если для некоторых значений допустимы такие выборы и при которых величина как угодно мало отличается от правой части последнего неравенства, то ясно тогда, что эта правая часть есть Таким, например, является случай, когда распределение гауссовское и (т. е. мерой искажения является средняя квадратичная ошибка). Предположим, что сообщение имеет дисперсию и рассмотрим в пространстве гауссовское распределение с нулевым средним и дисперсией, равной (Ясно, что если то так как в качестве воспроизводимого сообщения может быть использована единственная точка равная нулю.) Пусть условное распределение вероятностей — гауссовское с дисперсией Это предположение согласуется с гауссовским характером распределения так как свертка нормальных распределений дает нормальное распределение с дисперсией, равной сумме дисперсий. Тогда условная вероятностная мера также нормальна.

Простой расчет показывает, что при этом величина достигает нижней грани, указанной выше. Получающаяся при этом кривая имеет вид

Для она показана на рис. 9.