10.2. Системы с однородной функцией штрафов

1. В этом параграфе будем предполагать, что функция штрафов с бейесовской системы является однородной, т. е. зависит от лишь через посредство их разности: с другими словами, является инвариантной относительно преобразования сдвига а. При этом подразумевается, что и, а принимают значения из одного и того же пространства X, что преобразование сдвига оставляет это пространство инвариантным. Следовательно, пространство X не должно иметь границ, но может иметь конечный «объем», например, быть периодически замкнутым.

Применим к равенству (9.5.2), принимающему вид

указанное преобразование сдвига, которое перейдет в равенство

Предполагая, что преобразование сдвига оставляет активное подпространство инвариантным, получаем из сравнения (10.2.1) и (10.2.2), что т. е. является константой. Поэтому в данном случае применима теория, изложенная в § 9.5, и можно пользоваться формулами (9.5.8), (9.5.10), (9.5.15). Зная потенциал в соответствии с (9.4.28), (9.4.29) нетрудно найти

Функция ценности информации получается из этих двух формул исключением параметра

Поскольку в рассматриваемом случае функция является константой, экстремальное распределение (9.4.21), согласно (9.5.9) принимает вид

Отсюда видно, что условное распределение

не зависит от априорного распределения Величина в формулах (10.2.3) есть не что иное как энтропия этого условного распределения:

Априорное распределение оказывает влияние в (10.2.4) лишь на распределение Уравнение (9.4.23), определяющее его, можно в силу (9.5.9) записать

Оно решается методом преобразования Фурье, поскольку Фурье-изображение интеграла свертки равно произведению изображений. Вводя характеристические функции

из уравнения (10.2.6) получаем

или

где

причем

Соотношение (10.2.6) можно в силу (10.2.8) записать также в операторной форме

по аналогии с (8.8.4). Разрешая последнее уравнение, получаем

Взяв разложение

а также разложение

можно записать (10.2.11) в виде

Здесь производные согласно (10.2.5), (10.2.8) совпадают с кумулянтами распределения Полученной формулой (10.2.12) удобно пользоваться, когда априорное распределение является значительно более широким, чем условное распределение (10.2.5), так что члены разложения быстро убывают.

Особенно прост тот случай, когда распределение является равномерным:

Тогда из (10.2.6) вытекает, что имеет такой же вид:

Приведенные в этом параграфе соотношения справедливы как для дискретного, так и для непрерывного пространства В непрерывном случае, конечно, суммы следует заменить интегралами. Может оказаться, что в случае непрерывного или неограниченного пространства некоторые члены рассмотренных выражений, например не имеют самостоятельного смысла. Однако они встречаются в сочетании с другими членами и функциями в такой форме, что сочетание в целом (например, сумма имеет смысл.

2. Примеры. Рассмотренные в § 9.2 и 9.5 примеры, в которых х было дискретной случайной величиной, относятся именно к случаю систем с однородной функцией штрафа.

В настоящем параграфе мы рассмотрим примеры, в которых случайная величина х принимает непрерывные значения и описывается плотностью распределения вероятностей

Пусть функция штрафов с имеет нижеследующий вид:

Тогда, записывая формулу (9.5.8) в непрерывном варианте:

будем иметь

где «объем» той области в которой с

Рис. 10.1. Зависимость средних штрафов от количества информации для функции штрафов вида (10.2.14).

Применяя формулы (10.2.3) к данному случаю, находим

Отсюда видно, что для обеспечения нулевого уровня потерь необходимо количество информации, равное

При меньшем количестве информации возникает ненулевая вероятность бесконечных штрафов и поэтому уровень потерь становится равным бесконечности. Ход описанной специфической зависимости от показан на рис. 10.1.

В многомерном случае, когда задана точность воспроизведения (равная ) по каждой координате, имеем

где размерность пространства. При этом критическое значение информации (10.2.16) равно

3. Пусть теперь пространство X есть -мерное линейное пространство, а функция с квадратична:

Применяя (9.5.8), находим потенциал

Согласно (10.2.3)

Рис. 10.2. Функции ценности информации для квадратичной функции штрафов (10.2.20).

Если точность по каждой координате, то уровень потерь можно в силу (10.2.18) приравнять Тогда формулы (10.2.19) дадут

что напоминает (10.2.17). Исключая параметр Т из (10.2.19), находим функцию ценности информации

показанную на рис. 10.2.

Запишем также плотность распределения определяемую формулой (10.2.11). В данном случае распределение (10.2.5) является гауссовым

и имеет характеристическую функцию

Поэтому (10.2.11) дает

Члены разложения

сходятся как степенной ряд отношения

где

Если это отношение мало, то можно оставить лишь несколько членов разложения, например

Аналогичная формула имеет место и для предыдущего примера (10.2.14), когда

Именно, если

то из разложения типа (10.2.12) будем иметь

Приведенные результаты справедливы в том предположении, что вероятности (10.2.11) являются неотрицательными и энтропия априорного распределения не меньше условной энтропии распределения (10.2.5), получаемого в результате решения экстремальной задачи.

4. В заключение этого параграфа рассмотрим функцию

которая, как будет видно из гл. 11, играет существенную роль при решении вопроса о том, насколько отличаются друг от друга функции ценности шенноновского и хартлиевского количества информации.

В случае однородной функции штрафа выражение

можно представить в следующей операторной форме

что аналогично (10.2.10) (функция определена формулой (10.2.8)). Подставляя сюда (10.2.11), будем иметь

В том простом частном случае, когда распределение равномерное (10.2.13), формула (10.2.23) дает

или

если учесть (10.2.9), (9.5.10). Функция при этом не зависит от х.