§ 2.7. Средняя взаимная информация между случайными процессами

Пусть и два случайных процесса, заданных на интервале каждый из которых допускает ортогональное разложение (2.6.15). Рассмотрим две произвольные полные в ортонормированные системы функций Каждый из процессов и может быть представлен рядом:

где

Таким образом, случайные процессы и в среднеквадратическом смысле полностью определяются бесконечными последовательностями коэффициентов разложений соответственно.

Будем говорить, что случайные процессы и заданы совместно на интервале если для всех заданы совместные функции плотности вероятностей

Пусть случайные векторы, образованные первыми коэффициентами разложений процессов в ряды (2.7.1) и (2.7.2) соответственно. Можно вычислить среднюю взаимную информацию

где

Определение 2.7.1. Средняя взаимная информация между двумя случайными процессами и заданными совместно на интервале определяется соотношением

если предел существует.

Замечание. Можно показать, что определение 2.7.1 корректно в том смысле, что величина не зависит от выбора полных в систем функций Доказательство этого факта заинтересованный читатель может найти в работе

Рассмотрим некоторые примеры.

Пример 2.7.1. Пусть и случайные процессы статистически независимы. Статистическая независимость процессов означает, что для любого векторы образованные первыми коэффициентами разложений в ряды, статистически независимы.

Для вычисления средней взаимной информации мы будем использовать разложения процессов к У (0 по одной и той же системе функций Тогда

Из независимости процессов и следует, что где - ф. п. в. случайного вектора (см. также пример

Имеем

где На и относительные энтропии векторов соответственно. Тогда

Пример 2.7.2. Продолжим рассмотрение предыдущего примера. Пусть причем теперь статистически независимые гауссовские случайные процессы. Пусть система собственных функций для корреляционного ядра процесса Предположим также, что система функций полна в 12. Для вычисления воспользуемся разложением по системе функций Так как в этом случае с. в. коэффициенты разложения процесса являются статистически независимыми гауссовскими случайными величинами с дисперсиями где собственные числа ядра то

и

Предположим теперь, что является системой собственных функций также и для корреляционного ядра процесса Тогда коэффициенты разложения процесса являются гауссовскими независимыми случайными величинами с дисперсиями где собственные числа ядра Очевидно, что в этом случае коэффициенты

разложения процесса независимые гауссовские вели чины с дисперсиями Поэтому

и