11.4. Другие способы записи основного результата. Обобщения и частные случаи

1. В предыдущем параграфе вместо функции (11.3.8) была введена функция Это было вызвано по существу лишь соображениями удобства и наглядности, чтобы подчеркнуть

относительную величину членов. Изложение почти не изменится, если удельные величины и др. рассматривать лишь в произведении с иначе говоря, если вообще не вводить удельных величин. Вместо основной результирующей формулы (11.3.40), умножив ее на будем иметь формулу

где в соответствии с (11.3.34), (11.3.8)

(индекс опущен, член введен под знак логарифма; . При указанной модификации изложения, как и в п. 3 § 11.2, становится не нужным, чтобы бейесовская система была обязательно степенью какой-то элементарной бейесовской системы.

Дважды дифференцируя (11.4.2) в точке и учитывая (11.1.16), получаем

В силу (9.4.21) входящие сюда интегралы по являются интегралами условного математического ожидания с условными вероятностями Поэтому

где означает условную дисперсию. Средняя условная дисперсия (11.4.4), как легко убедиться, не меняется при преобразовании (11.2.36). Совершая преобразование (11.2.37), следовательно, будем иметь

Рассмотрим теперь, что представляет собой входящий в (11.4.1) средний квадрат который в силу (11.4.3) совпадает с дисперсией:

случайной величины

Полагая в (11.3.8) и сопоставляя это выражение с (9.4.23), видим, что

Далее, дифференцируя (11.3.8) в точке находим

Вследствие (9.4.21) этот интеграл есть не что иное, как интеграл усреднения с условным распределением т. е.

Отсюда и из (11.4.7) имеем

Но в силу (9.4.21) совпадает со случайной информацией , так что

Итак, мы видим, что выражение (11.4.6) есть дисперсия частично усредненной случайной информации:

Вследствие (11.4.5), (11.4.9) основной формуле (11.4.1) можно придать вид

2. В некоторых частных случаях экстремальное распределение не зависит от т. е. от Тогда, как видно из (9.4.23), (11.3.8), функция , зависящая, вообще говоря, от оказывается не зависящей от а зависимость ее от совпадает с зависимостью функции от и от

Усреднением этого равенства по в силу (9.4.10), (11.4.2), получаем

Поэтому в формуле (11.4.1) можно заменить на Далее полезно вспомнить, что согласно (9.4.31) значение связано с производными функций

так что

Вторую производную также нетрудно выразить через функцию (или так как эти функции связаны между собой

преобразованием Лежандра [см. (9.4.30) и (9.4.29)]. Дифференцируя (9.4.30), имеем

Отсюда

или, если продифференцировать (11.4.14) и учесть (11.4.13),

В силу (11.4.14), (11.4.15), (11.4.9) основную формулу (11.4.1) в данном случае можно записать

Иногда, кроме того, функция (11.4.11) оказывается не зависящей от С таким положением мы встречались в § 10.2, где для частного случая была получена формула (10.2.25), Согласно последней так что и усреднение по становится излишним. В этом случае дисперсия (11.4.6), (11.4.9) обращается в нуль и формула (11.4.16) несколько упрощается, принимая вид

При этом становится излишним рассмотрение, проведенное в предыдущего параграфа.

3. В некоторых важных случаях последовательность значений и последовательность бейесовских систем (зависящих от или другого параметра) такова, что для экстремального распределения

Б. Существуют конечные ненулевые пределы

(у произвольно и не зависит от

Нетрудно убедиться, что сумма

совпадает с полной дисперсией Следовательно, из существования первых двух пределов (11.4.19) вытекает существование конечного предела

Поэтому, с одной стороны, из вытекают условия информационной устойчивости для указанные в 7.3, как это стандартно доказывается путем применения неравенства Чебышева, из Б следует также (11.2.34). Таким образом, если еще выполнено условие ограниченности (11.2.39) и непрерывности функции (11.2.34) по у, то в данном случае будет иметь место сходимость (11.2.35) по теореме 11.2. С другой стороны, из (11.4.18) и конечности пределов (11.4.19) при учете (11.4.14) вытекает, что

Далее

при Поэтому и для логарифмического члена в (11.4.10 имеем

Вследствие (11.4.20), (11.4.21) из (11.4.10) в данном случае следует сходимость (11.2.35), прочие члены, замененные на о (1) в правой части (11.4.10), убывают еще быстрее. При этом условие (11.2.39), как мы видим, является необязательным.

4. Остановимся особо на одном частном случае — случае гауссовых бейесовских систем, которым были посвящены § 10.3, 10.4. При этом, вообще говоря, нельзя пользоваться упрощениями и приходится обращаться к формуле (11.4.10). Значение входящее в (11.4.5), уже было найдено ранее в гл. 10; оно определяется равенством (10.3.42), которое легко преобразовать к виду

Далее, чтобы вычислить дисперсию (11.4.9), следует воспользоваться формулой (10.3.43). Дисперсия выражений, квадратичных по гауссовым переменным, уже вычислялась ранее в § 5.4. Применяя тот же способ вычисления [основанный на формулах (5.4.15), (5.4.16)]

к соотношению (10.3.43), вместо (5.4.14), как нетрудно видеть, получим

(так как

После подстановки (11.4.22), (11.4.23) в (11.4.1), (11.4.6) будем иметь

Если, помимо приведенных выражений, принять во внимание формулу (10.3.30), то условие А предыдущего пункта примет вид

Требование существования предела входящего в условие Б (11.4.19), эквивалентно в силу (11.4.14) требованию существования предела

Два первых предела в (11.4.19) записываются в виде

Наконец, условие существования предела вследствие (10.3.32) принимает вид

где определяется из условия

Рассмотрим для примера гауссов случайный процесс в непрерывном времени, периодический на отрезке Он может быть получен из непериодического стационарного процесса описанной в начале § 5.7 периодизацией (5.7.1), Бейесовская система с таким периодическим процессом рассматривалась в п. 2 § 10.4. Для нее следы, входящие в (10.3.30), сводились к суммам (10.4.10). Подобным же образом выражаются и следы в (11.4.24). Если к тому же суммы заменить интегралами, что с некоторым приближением справедливо при больших и устремить [см. вывод формул (10.4.18)],

в отходящие в (11.4.27)-(11.4.29) следы будут приблизительно пропорциональны

при выполнении условия сходимости интегралов. Здесь

и прочие имеют тот же смысл, что и в § 10.4 [см. (10.4.19), (10.4.21)]. Область интегрирования определена неравенством (10.4.20). В этом случае пределы (11.4.27), (11.4.28) действительно существуют и равны отношению соответствующих интегралов. Например, первый предел (11.4.27) равен

В силу (11.4.30) разность как легко видеть из (11.4.24), убывает с ростом по закону