9.4. Решение третьей вариационной задачи. Соответствующие ей потенциалы

1. Задачу отыскания описанного в предыдущем параграфе экстремального распределения и зависимости или мы называем третьей вариационной задачей теории информации. Как и при решении второй вариационной задачи, для простоты сначала будем считать, что представляют собой дискретные величины, а затем полученные результаты обобщим на произвольный случай.

Будем варьировать вероятности совместного распределения величин х, и так, чтобы обратить в экстремум средние штрафы

при дополнительном условии

[см. (9.3.3)]. Поскольку априорное распределение не должно подвергаться изменениям, нужно к (9.4.2) присоединить условие

Полное условие нормировки

можно не учитывать, так как оно является следствием из (9.4.3). Не будем вводить также условие неотрицательности , так как найденное без него решение оказывается ему удовлетворяющим (см. ниже). Условную экстремальную задачу (9.4.1) - (9.4.3) будем решать при помощи неопределенных множителей Лагранжа отыскивая экстремум выражения

Обозначим через то множество пар (т. е. ту область пространства которым соответствуют положительные вероятности в экстремальном распределении. Производная от (9.4.5) по должна обращаться в нуль. При этом в силу (9.4.3) не будем дифференцировать После дифференцирования К получаем (являющееся необходимым условием экстремальности) равенство

или

Здесь обозначено

Величины определяются из условий (9.4.2), (9.4.3). Умножая (9.4.6) на и суммируя по х, и, получаем

где

Вследствие (9.3.3)

Подставляя далее (9.4.7) в (9.4.3) и (9.4.8), получаем равенства

Здесь условия соответствуют условию

2. Теорема 9.3. Если рассматривать лишь вариации или оставляющие область неизменной, то распределение (9.4.7) соответствует минимальной информации при фиксированном условии Оно соответствует также минимальным средним штрафам (9.3.1) при условии (9.3.3), если и максимальным средним штрафам, если .

Доказательство. Дважды дифференцируя функцию (9.4.5) по переменным находим матрицу вторых производных

Докажем, что эта матрица является неотрицательно определенной. Для этого достаточно показать, что таковой является х-матрица

(и фиксировано) или матрица при любом положительном

Образуем квадратичную форму

где произвольный вектор. Введем новые переменные равенством и будем иметь

Но выражение в фигурных скобках есть не что иное, как дисперсия величины соответствующая распределению Ее неотрицательность доказывает неотрицательную определенность матрицы а, следовательно, и матрицы (9.4.14).

Вследствие этого функции являются вогнутыми функциями переменных Разлагая эти функции в ряд Тейлора в точке, соответствующей экстремальному распределению (9.4.7), и учитывая, что линейные члены разложения для этого распределения исчезают, получаем в силу указанной неотрицательной определенности

Раз эти соотношения справедливы для произвольных вариаций переменных то они справедливы, в том числе и для вариаций, совместимых с дополнительными условиями (9.4.3) и др. При фиксированном условии согласно (9.4.15) имеем что доказывает первое утверждение теоремы. Для доказательства второго утверждения нужно учесть, что соотношение

взятое в сочетании с условиями и (9.4.3) дает т. е. при при Доказательство закончено.

Теорема 9.4. «Активная» область где экстремальные вероятности отличны от нуля: имеет цилиндрический вид

Здесь X — область, где область, где

Доказательство. Предположим, что не совпадает с Тогда, очевидно, должна быть частью области Экстремальное распределение для области согласно (9.4.7) представляется в виде

где удовлетворяют всем необходимым условиям. Используя (9.4.17), построим вспомогательное распределение с вероятностями, отличными от нуля в более широкой области

Положим

где

Учитывая равенство (9.4.13), принимающее вид

нетрудно видеть, что

поскольку область суммирования расширена. Поэтому

Отсюда усреднением получаем

Для обоих распределений (9.4.17), (9.4.18) справедлива формула (9.4.9), т. е. Из (9.4.19) имеем

Ранее параметр предполагается фиксированным. Рассмотрим теперь все семейство зависящих от активных областей и проведем описанное расширение областей для каждого Тогда из соотношения (9.4.20), справедливого при каждом Р, будет вытекать, что или при Следовательно, рассматривая лишь цилиндрические «активные» области (9.4.15), мы не проиграем в оптимальности. Доказательство закончено.

Как выражение, стоящее в правой части (9.4.7), так и выражение, стоящее в левой части, вне области равны нулю. Поэтому для экстремального распределения равенство

выполняется повсеместно. Вследствие теоремы 9.4 равенства (9.4.12), (9.4.13) записываются в виде

В этих формулах суммирование можно проводить также по всему пространству значений

Уравнения (9.4.22), (9.4.23) с соответствующим условием (9.4.2) при фиксированной области позволяют найти оптимальное распределение (9.4.21). Каждой области удовлетворяющей ряду условий, будет соответствовать, таким образом, экстремальная зависимость Для полного решения задачи остается еще решить вопрос о том, как выбрать активную область из множества

допустимых областей. Для этого выбора естественно использовать условие экстремальности

вытекающее из (9.4.1). Если множество допускает непрерывные изменения области то условие (9.4.24), как правило, можно заменить условием стационарности

Здесь вариация соответствует вариации области причем информация I остается постоянной:

Вариация несмотря на отсутствие вариаций (9.4.25), (9.4.26), может сопровождаться ненулевыми вариациями Из соотношения (9.4.9) в силу (9.4.25), (9.4.26) получаем условие

которое будет использовано в дальнейшем. Как будет показано в дальнейшем, это условие может быть приведено также к виду (10.1.8), что означает экстремальность потенциала Г при фиксированном

3. Перейдем к выводу «термодинамических» соотношений, связанных с третьей вариационной задачей. Оказывается, что они во многом аналогичны соотношениям первой и второй вариационных задач (§ 3.3, 3.6 и 8.2).

Обратимся сначала к соотношению (9.4.11). Потенциал (9.4.10) естественно интерпретировать как где примет вид

— аналог свободной энергии, а Тогда (9.4.28) будет напоминать известное в термодинамике соотношение внутренняя энергия: Н — энтропия). Разница между этими соотношениями лишь в том, что член входит с противоположным знаком.

Перейдем к выводу прочих соотношений, напоминающих обычные соотношения термодинамики. Начнем с того варианта, в котором берется потенциал а не свободная энергия

Теорема 9.5. Для третьей вариационной задачи выполняются соотношения

по аналогии с первыми двумя вариационными задачами.

Доказательство. Будем варьировать параметр Р в -нении (9.4.22), Эта вариация сопровождается, вообще говоря, вариацией функции и активной области Представим вариацию а также как сумму двух вариаций:

Вариации соответствуют вариации параметра при неизменной области а вариации соответствуют изменению области

Дифференцируя (9.4.22) при постоянной области получаем

Умножая это равенство на и суммируя по и при учете формулы (9.4.21), находим

т. е. получаем

вследствие (9.3.5), (9.4.10). Из (9.4.33), (9.4.11) с очевидностью следует соотношение

Требуемые соотношения (9.4.29), (9.4.30) получим, если учтем, что

в силу (9.4.27), (9.4.33). Для вывода (9.4.31) достаточно взять дифференциал от обеих частей равенства (9.4.30), что дает

и учесть (9.4.29). Доказательство закончено.

Согласно теореме 9.5 для вычисления зависимости удобно пользоваться потенциалом При этом, как видно из приведенного доказательства, дифференцирование потенциала по можно проводить, считая область не зависящей от

Аналогичные соотношения справедливы и для свободной В самом деле, подставляя будем иметь

Из приведенных соотношений видно, что зависимость является преобразованием Лежандра

функции а функция есть преобразование Лежандра

функции Производную

или, что то же самое, производную

целесообразно интерпретировать как дифференциальную ценность информации. Вследствие (9.4.30), (9.4.36) она оказалась связанной с температурным параметром простым соотношением

Эта функция всегда неотрицательна.

4. Ряд общих утверждений можно высказать относительно свойств выпуклости функций .

Теорема 9.6. Функции являются вогнутыми, нормальная ветвь функции является вогнутой, а аномальная ветвь — выпуклой.

Доказательство. Докажем сначала вогнутость функции Для этого возьмем два значения из допустимого диапазона (9.3.16). Пусть им соответствуют экстремальные распределения и значения информации Рассмотрим промежуточную точку

Это значение является средними штрафами для распределения

Пусть есть информация связи для распределения (9.4.42). При доказательстве теоремы 9.3 было показано, что выражение является вогнутой функцией от вероятностей поэтому

Сравним теперь значение и значение являющееся решением экстремальной задачи (9.3.4). Распределение (9.4.42) входит в число распределений, перебираемых при минимизации, так что Сопоставляя это неравенство с (9.4.41), получаем

что и доказывает вогнутость функции Вогнутость функции вытекает из вогнутости функции если учесть, что эти функции связаны преобразованием Лежандра (9.4.38), а преобразование Лежандра сохраняет свойство выпуклости или вогнутости. Последний факт легче всего показать для того случая, когда рассматриваемые функции дважды дифференцируемы. Дифференцируя (9.4.29), имеем

Запишем теперь (9.4.31) в виде

и возьмем производную по

Сравнивая равенства (9.4.44), (9.4.46), получаем

Отсюда видно, что условие вогнутости приводит к условию вогнутости

Нормальные ветви функции характеризуются тем, что значения параметров положительны. Вследствие (9.4.31) производная для нормальной ветви отрицательна и из вогнутости функции следует вогнутость обратной функции Если производная положительна, то имеет место изменение направления выпуклости при переходе к обратной функции Доказательство закончено.

Кроме функции (9.4.38) и функции ценности можно ввести соответствующие случайные функции, т. е.

функции, зависящие не только от I, но и от случайной переменной х. Принимая во внимание формулу (9.4.10), записанную в виде

нетрудно видеть, что преобразование Лежандра (9.4.38) можно произвести до усреднения по х, т. е. преобразовать по Лежандру функцию

Соответствующее изображение

назовем случайной ценностью или ценностью случайной информации, поскольку в силу (9.4.23), (9.4.21) есть не что иное, как случайная информация