2.8.4. Поиск экстремумов на множестве вероятностных векторов.

Ниже будет рассмотрен важный частный случай, когда множество векторов, на котором ищется экстремум, является выпуклым множеством вероятностных векторов определяемым ограничениями

В задаче 2.8.2 показано, что в этом случае условие регулярности выполнено и теорема Куна-Таккера о необходимых условиях максимума может быть сформулирована следующим образом.

Следствие 2.8.1 (теорема Куна-Таккера для вероятностных ограничений). Пусть множество вероятностных векторов, определяемое условиями (2.8.17), и функция, определенная на и имеющая частные производные Пусть максимизирует на множестве Тогда существует число такое, что

причем (2.8.18) выполняется со знаком равенства для всех таких для которых

Доказательство. Так как и

то из (2.8.14) следует, что

так как неотрицательные величины если Следствие доказано.

Поскольку область вероятностных векторов выпукла, то из теоремы 2.8.2 вытекает, что в случае, когда выпуклая вверх функция, необходимые условия максимума являются также достаточными. Таким образом, верно следующее утверждение.

Следствие 2.8.2. Пусть множество вероятностных векторов, определяемое условиями (2.8.17), и -выпуклая вверх функция, определенная на и имеющая частные производные Если существует точка х и число что

причем знак равенства имеет место для всех таких для которых то х есть точка, в которой принимает максимальное значение.

Замечания. 1. Для того чтобы минимизировать выпуклую вниз функцию на множестве достаточно максимизировать выпуклую вверх функцию на том же множестве. Необходимые и достаточные условия того, что х минимизирует состоят в том, что существует такое что

причем знак равенства имеет место для всех таких для которых

2. Если функция в (2.8.17) имеет вид —с, где с - положительная константа, то с помощью нормировки (деления всех переменных на с) множество, на котором ищется экстремум, приводится к множеству вероятностных векторов.

Полезно прояснить необходимые условия максимума (2.8.18) с помощью простых рассуждений. Рассмотрим задачу максимизации выпуклой вверх функции в области вероятностных векторов, Так как для каждого вероятностного вектора должно выполняться равенство то, не обращая пока внимания на требование неотрицательности величин можно воспользоваться методом неопределенных множителей Лагранжа и попытаться найти максимум функции Лагранжа Если максимум существует внутри области вероятностных векторов, т. е. при для всех то производная функции Лагранжа по каждой из переменных будет равна нулю в точке максимума и условия (2.8.18) будут выполняться со знаком равенства. Если же максимум функции Лагранжа существует вне области вероятностных векторов, то хотя бы для одного индекса будет выполняться неравенство Мы предположили, что выпуклая вверх функция, поэтому выпуклой вверх является и функция Отсюда следует, что максимум функции в области вероятностных векторов достигается на границе, т. е. при условии, что для некоторых индексов Так как выпуклая функция может иметь только один максимум, то производные функции по тем переменным, для которых не положительны

Условия Куна-Таккера сами по себе не дают метода отыскания экстремальных точек. В общем случае нахождение таких точек, исходя из необходимых или необходимых и достаточных условий, приведенных выше, является довольно сложной задачей. Однако в ряде случаев эта задача может иметь простое решение. В следующих примерах иллюстрируется применение условий Куна-Таккера.

Пример 2.8.1. Найдем распределение вероятностен на дискретном ансамбле, которое максимизирует энтропию Хотя ответ известен и получается просто с помощью применения неравенства для логарифма, можно формально использовать теорему Куна-Таккера для отыскания необходимых условий экстремума. В этой задаче Согласно следствию 2.8.1 в точке максимума должны Вошолняться соотношения

для некоторого вероятностного вектора и некоторого числа причем для всех должно выполняться равенство. Из (2.8.19) получим, что для оптимального распределения

со знаком равенства для всех Другими словами, необходимое условие того, чтобы было распределением, максимизирующим энтропию, состоит в том, что Поскольку имеется только одно такое распределение, а именно равномерное, то это условие является и достаточным.

Пример 2.8.2. В задаче 2.3.5 предлагается получить следующее выражение для средней взаимной информации между двумя гауссовскими векторами где причем статистически независимы и имеют независимые компоненты:

В этой формуле дисперсии компонент векторов соответственно. Найдем максимальное значение по всем векторам X, для которых Таким образом, задача заключается в максимизации функции при ограничениях Нетрудно убедиться в том, что является выпуклой вверх функцией, определенной на множестве таких векторов что Необходимые и

достаточные условия максимума определяются теоремой Куна-Таккера. Из следствия 2.8.2 получим, что для оптимального вектора выполняются неравенства

для некоторого причем равенство имеет место для всех Таким образом, оптимальный выбор дисперсий компонент вектора X, при ограничении на суммарную дисперсию задается следующими уравнениями:

если а постоянную В можно найти из условия на суммарную дисперсию

Задачи, упражнения и дополнения

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

КРАТКИЙ ИСТОРИЧЕСКИЙ КОММЕНТАРИЙ И ЛИТЕРАТУРА

Количество информации между сообщениями и ансамблями было введено К. Шенноном [35]. Им же были установлены основные свойства средней взаимной информации и относительной энтропии. Средняя взаимная информация между случайными векторами и случайными процессами была найдена И. М. Гельфандом и А. М. Ягломом [5]. А. Н. Колмогоров [9] предложил общий теоретиковероятностный подход к введению количества информации и наметил программу строгого математического обоснования. Им также были предложены новые логические основания теории информации, основанные на понятии сложности последовательности, которые позволяют ввести понятие «информация» и «энтропия» без ссылок на вероятности. Разработке общего теоретико-вероятностного подхода к обоснованию теории информации посвящены работы Р. Л. Добрушина [7], М. С. Пинскера [13].

Многие результаты, относящиеся к исследованию свойств средней взаимной информации, можно найтп в книге Галлагера [4]. С основами нелинейного программирования и теоремой Куна-Таккера можно познакомиться по книге У. И. Зангвилла [8].

(см. скан)

(см. скан)