10.4. Стационарные гауссовы системы

1. Пусть состоят из многих компонент:

Бейесовская система является стационарной, если ей свойственна инвариантность относительно преобразования сдвига

Для этого случайный процесс х должен быть стационарным, т. е. распределение должно удовлетворять условию

а также функция штрафов должна удовлетворять условию стационарности

Применительно к гауссовым системам указанные условия стационарности приводят к требованию, чтобы матрицы

входящие в выражения (10.3.1), (10.3.2), были стационарными, т. е. чтобы их элементы зависели лишь от разности индексов:

Рассмотрим сначала тот случай, когда пространства имеют конечную размерность Матрицы (10.4.1) можно привести к диагональному виду унитарным преобразованием

с матрицей

при

где

по аналогии с (5.5.9), (8.7.6).

После указанной диагонализации формулы (10.3.30) примут вид

Унитарное преобразование (10.4.2) привело к тому, что новые переменные

стали некоррелированными, т. е. независимыми. Рассматривая координаты

удобно охарактеризовать активное подпространство В нем часть этих координат равна нулю. Неравными нулю являются согласно (10.3.33) лишь те координаты, для которых

Поэтому в (10.4.6) суммирование нужно проводить лишь по тем I, для которых последнее неравенство выполняется. Число таких значений индекса и есть

2. Пусть теперь есть случайная функция на отрезке , т. е. пространство х является бесконечномерным (функциональным).

Бейесовскую систему будем предполагать строго стационарной, считая, что матрицы а имеют вид

и аналогично для а, где периодические функции с периодом Унитарное преобразование, диагонализирующее эти матрицы, имеет вид преобразования Фурье

При этом будем иметь (см. (8.7,12))

и т. п. для других матриц. Формулы (10.3.30) в этом случае будут иметь вид, аналогичный (10.4.6),

с той лишь разницей, что индекс может теперь пробегать всевозможные целые значения , для которых выполняются условия

типа (10.4.7). Пусть Фтах есть максимальная величина

Тогда при не будет иметься индексов для которых выполнялось бы условие (10.4.11) и суммы в (10.4.10) будут отсутствовать, так что будет равно нулю, а

Ненулевое значение появится как только Р достигнет значения и превзойдет его. Учитывая (10.4.12) по обычной формуле

из (10.4.10) получаем выражение для ценности информации

Зависимость получена согласно (10.4.10), (10.4.13) з параметрической форме.

3. Рассмотрим тот случай, когда есть бесконечная стационарная последовательность и элементы матриц

зависят лишь от разности Тогда эти матрицы диагонализируются унитарным преобразованием

где По аналогии с (10.4.4), (10.4.5) в этом случае нетрудно получить

Преобразование (10.4.14) можно рассматривать как предельный случай (при преобразования (10.4.2), (10.4.3), причем Из сравнения (10.4.5) и (10.4.15) имеем Поэтому формулы (10.4.6) дают

Совершая здесь предельный переход поскольку получаем отсюда интегралы

Интегрирование проводится по тому подынтервалу интервала где Найденные формулы определяют удельные величины приходящиеся в среднем на один элемент последовательностей Обошачая через длину подынтервала из (10.4.16) имеем

где

— некие средние значения функций

4. Пусть, наконец, имеется стационарный процесс на бесконечной непрерывной временной оси. Функции при этом есть функции лишь разности времен, подобно (10.4.8). Этот случай можно рассматривать как предельный случай системы, рассмотренной в п. 2 или в п. 3. Так в формулах п. 2 требуется совершить предельный переход в процессе которого точки на оси неограниченно уплотняются и суммы в (10.4.10), (10.4.13) переходят в интегралы:

Входящие сюда функции определены равенством

Интегрирование в (10.4.18) проводится по той области оси со, где

Обозначим через суммарную длину этой области, тогда из последних формул (10.4.18) аналогично (10.4.17) будем иметь

где

Эти средние оказываются слабо зависящими от

5. Рассмотрим в качестве примера стационарный гауссов процесс имеющий корреляционную функцию

так что в соответствии с (10.4.19)

В качестве функции штрафа возьмем квадратичную функцию

или в матричной форме записи

Рис. 10.4. Удельная функция ценности информации для примера с функцией штрафов (10.4.23).

При этом матрицы как видно из сравнения с (10.3.1), имеют вид и поэтому

Функция (10.4.21) в данном случае в силу (10.4.22), (10.4.24) выглядит так:

Условие (10.4.20) принимает вид

следовательно, при фиксированном значении область является отрезком — Вместо параметра будем рассматривать параметр Тогда и указанный интервал будет иметь вид

Учитывая, что

из формул (10.4.18) будем иметь

Вследствие (10.4.23) и стационарности процесса удвоенные удельные потери отнесенные к единице времени, совпадают со средним квадратом ошибки а удвоенная ценность показывает величину максимального его уменьшения, которое возможно при данном удельном количестве информации

Кривая ценности, соответствующая формулам (10.4.25) приведена на рис. 10.4. Пользуясь этими формулами, можно также получить приближенные формулы для зависимости при малых и при больших значениях параметра у (или отношения

При малых воспользуемся разложениями Подставляя их в (10.4.25), получаем

и после исключения у:

При больших произведем разложение по обратному параметру, а именно

Формулы (10.4.25) дадут

Исключая отсюда у, будем иметь

Для данного примера нетрудно записать также потенциал (10.3.28).