4. Свойство С

Информация имеет максимум, когда все вероятностей равны:

Для доказательства заметим, прежде всего, что информация является функцией только независимых переменных, так как

или

Возьмем в качестве независимых переменных Информация имеет максимум при условии, что, во-первых, все первые частные производные I равны нулю. Для получения второго условия составим определитель из вторых производных I для точки, определяемой первым условием:

где

в экстремальной точке.

Второе условие максимальности состоит в том, что и определители порядка получаемые путем последовательного добавления следующих строк и столбцов в (2.17), должны образовать знакопеременную последовательность.

Из второй формулы (2. 16) имеем:

и следовательно,

Применяя первое условие, находим, что для получения максимума необходимо:

откуда с помощью (2.16)

Вторые производные в этой точке равны

и второе условие требует, чтобы определители вида

порядка попеременно изменяли знак при возрастании порядка. Так оно и есть, так как значение такого определителя порядка n, как легко показать, есть

и свойство С, таким образом, доказано.

Свойство С может быть в простейших случаях показано графически. В случае двух возможностей, при мы имеем:

На рис. 2.4 I построена как функция должно равняться нулю при . В силу симметрии I должна иметь максимум при , и это максимальное значение равно

Для трех возможностей

и

построим двумерную диаграмму (рис. 2.5). Двух измерений достаточно, так как только две из трех вероятностей , независимы.

Рис. 2.4. Информация как функция . Максимум достигается при и равен

Рис. 2.5. Представление и на двумерной диаграмме. Это возможно, так как только две из этих трех вероятностей независимы: .

Возьмем три направления под углом 2/3 друг к другу. Отложим отрезок по первому направлению, — по второму и третьему и получим, таким образом, точку М. По условию (2.19) точка М должна находиться

внутри равностороннего треугольника . Точка получается, например, когда . Линия соответствует . Это легко показать, применяя на плоскости прямоугольные координаты и проектируя контур сперва на ось , а затем на ось у. Координаты точки М таковы:

Уравнение есть , что на основании (2.20 дает и следовательно, . Аналогичные результаты справедливы в силу симметрии и для остальных сторон треугольника.

Рис. 2.6. Поверхность I (информации), построенная как функция при . Максимум I достигается при и равен

Мы можем воспользоваться треугольником как основанием. Каждая точка внутри треугольника соответствует совокупности чисел удовлетворяющих условию (2.19). Отложим информацию по вертикали (в направлении, перпендикулярном к плоскости треугольника) и получим поверхность, показанную в перспективе на рис. 2.6. Вдоль каждой стороны треугольника получается кривая, сходная с кривой рис. 2.4. Наивысшая точка поверхности (т. е. максимум информации) получается при , т. е. над центром треугольника .