11.3. Чистое прогнозирование: несингулярные процессы

В § 11.4 мы вернемся к рассмотрению сглаживающих и прогнозирующих фильтров, предназначенных для обработки смеси сигнала и шума. В настоящем же параграфе мы рассмотрим частный случай, когда шум на входе фильтра отсутствует, так что Это и есть задача о чистом прогнозировании. Результаты об оптимальном фильтре, которые мы получим в данном параграфе, будут содержаться и в выводах § 11.4, где мы будем исходить непосредственно из уравнения (11.9). Здесь же, однако, мы будем решать задачу о чистом прогнозировании иным путем, с тем чтобы осветить ее с другой стороны, а также получить некоторые вспомогательные результаты.

Мы используем лишь следующую информацию относительно сигнала на входе прогнозирующего устройства: во первых, тот факт, что сигнал порожден стационарным в широком смысле вероятностным процессом, и, во-вторых, корреляционную функцию этого вероятностного процесса. Среднеквадратичная ошибка зависит от сигнала на входе только через его корреляционную функцию [см. равенство (11.4), где за взято ]. Итак, если процесс на входе заменяется другим вероятностным процессом с такой же корреляционной функцией, то среднеквадратичная ошибка для любого конкретного фильтра остается неизменной и неизменным остается также оптимальный фильтр. Это обстоятельство является основой последующего анализа.

Обрисуем кратко идеи, которые мы используем для нахождения оптимального прогнозирующего фильтра. Сначала предположим, что сигнал на входе устройства заменен на фильтрованный белый шум. Иными словами, перед прогнозирующим устройством мыслится гипотетический фильтр А с функцией передачи такой, что при подаче на вход А белого шума сигнал на выходе его имеет в точности такую же корреляционную функцию (и, следовательно, такую же спектральную плотность), что и Сигнал на выходе фильтра А является входным для прогнозирующего устройства. Само прогнозирующее устройство мыслится состоящим из двух последовательно соединенных фильтров В и С. Фильтр В является обратным по отношению к А и, следовательно, обладает функцией передачи его назначение состоит в обращении входного сигнала снова в белый шум. Фильтр С обеспечивает оптимальное прогнозирование при подаче на вход его

белого шума; эта последняя операция оказывается весьма простой. При этом функция передачи оптимального прогнозирующего устройства равна произведению функций передачи гипотетических фильтров В и С (см. фиг. 11.1).

Рассмотрим теперь эту задачу более подробно. Во-первых, мы исходим из предположения, что входной сигнал принадлежит к классу вероятностных процессов, корреляционные функции которых таковы, что ими может обладать фильтрованный белый шум.

Фиг. 11.1. Оптимальный прогнозирующий фильтр,

Иными словами, функция должна быть такова, чтобы для некоторой функции процесс определяемый равенством

где — белый шум, имел корреляционную функцию Это означает, что функция передачи являющаяся преобразованием Фурье от должна удовлетворять условию

Это — существенное ограничение, и мы его рассмотрим ниже. Сейчас же заметим просто, что для широкого класса стационарных в широком смысле процессов их спектральная плотность может быть выражена через функцию передачи физически осуществимого фильтра так, как это делается в (11.14). Поскольку для целей теории прогнозирования нет необходимости делать различие между мы будем впредь предполагать, что

где — белый шум и преобразование Фурье от удовлетворяет равенству (11.14).

Согласно (11.15), для будущих значений процесса имеем

Это и есть величина, которую требуется предсказать. Так как представляет собой случайную величину, образованную линейной суперпозицией белых шумов, причем в момент t часть этих шумов относится к предыстории сигнала, и так как белый шум, возникающий от момента t до момента имеет нулевое среднее значение и не коррелирован с тем, что было раньше, то естественно предположить, что наилучшее линейное прогнозирование обеспечивается, если взять ту часть которая составлена из белого шума, возникшего до момента Покажем, что это действительно так. Равенство (11.16) можно переписать в виде

Здесь есть в точности та часть которая порождена белым шумом, возникшим ранее момента таким образом, именно есть то прогнозируемое значение оптимальность которого мы хотим доказать. Среднеквадратичная ошибка прогнозирования равна

Для того чтобы доказать минимальность этой среднеквадратичной ошибки, вычислим среднеквадратичную ошибку, которая имеет место при использовании какого-либо другого линейного прогнозирующего устройства, использующего только предыдущие значения белого шума, т. е. значения и покажем, что эта ошибка не может быть меньше, чем определяемая выражением (11.18). Так как всякая линейная операция над прошлыми значениями является необходимым образом также и линейной операцией над , то отсюда будет следовать, что не хуже любого другого линейного прогнозирования, которое может быть сделано с использованием только прошлых значений

Пусть — какое-либо иное линейное прогнозирование, определяемое равенством

С некоторой функцией Пусть, далее,

Тогда

Разлагая это выражение и вычисляя математические ожидания, мы найдем, что член, содержащий произведение, равен нулю, ибо значения не коррелированы с и, следовательно, второй интеграл не коррелирован с первым. Первый интеграл равен ошибке прогнозирования так что равенство (11.19) принимает вид

Последнее слагаемое в (11.20) неотрицательно; следовательно, ошибка прогнозирования для больше, чем для . Это означает, что прогнозирование оптимально, как и утверждалось выше.

До сих пор оптимальное предсказание мы выражали через гипотетический белый шум

а не через входной сигнал Найдем теперь выражение для функции передачи оптимального прогнозирующего фильтра, т. е. фильтра, откликом которого на воздействие является . Положив в (11.21)

получим равенство

задающее как фильтрованный белый шум. Пропуская теперь через фильтр, обратный по отношению к фильтру с импульсным

откликом (фильтр В на фиг. 11.1), получим на выходе его восстановленный белый шум Подадим, далее, на вход фильтра с импульсным откликом (фильтр С на фиг. 11.1); тогда совместное действие обоих фильтров обеспечит наилучшее прогнозирование по заданному входному сигналу Таким образом, прогнозирующее устройство есть последовательное соединение фильтров с функциями передачи и функция передачи прогнозирующего устройства равна

Функция никогда не является обычной функцией передачи системы; так как всегда есть сглаженный белый шум, то — это импульсный отклик фильтра, осуществляющего некоторое интегрирование: следовательно, обратный ему фильтр должен быть дифференцирующим. Это означает, что функция не может обращаться в нуль на бесконечности. Вместе с тем функция передачи являющаяся произведением, может на бесконечности как обращаться, так и не обращаться в нуль. Если она не обращается в нуль, то наилучшее линейное прогнозирование не может быть в точности осуществлено фильтром, т. е. устройством, которое характеризуется интегральным оператором типа (11.23). Однако даже если это имеет место, оптимальное прогнозирование часто может быть выполнено приближенно путем аппроксимации на со) вплоть до сколь угодно высоких частот. Эти замечания будут проиллюстрированы простым примером, который мы сейчас приведем, и примерами следующего параграфа. Исходя из выражения (11.24), можно написать точную формулу, выражающую через спектральную плотность сигнала на входе; мы проделаем это в следующем параграфе, где будем рассматривать общий случай прогнозирования и фильтрации.

Пример 11.3.1. Пусть сигнал является выборочной функцией вероятностного процесса со спектральной плотностью

Тогда, если мы положим

то

и условие (11.14) будет выполнено. Далее,

так что есть импульсный отклик физически осуществимого фильтра, как это требуется в равенстве (11.15). Тогда

Поскольку

для функции передачи прогнозирующего фильтра получаем

Наилучшим прогнозирующим устройством в данном случае оказывается просто аттенюатор. Этот пример настолько прост, что результат (11.29) можно было бы предвидеть интуитивно. Спектральная плотность, определяемая выражением (11.25), может быть получена путем возбуждения RС-фильтра с постоянной времени белым шумом от источника с нулевым сопротивлением (фиг. 11.2).

Фиг. 11.2. Пример прогнозирующего устройства.

Напряжение на конденсаторе в момент t равно Наилучшим прогнозом для этого напряжения в момент является, поскольку имеет нулевое математическое ожидание и непрогнозируемо для напряжение, которое останется после разряда через сопротивление в течение секунд. Именно эту величину укажет прогнозирующий фильтр, описываемый равенством (11.29).

Интегральное уравнение прогнозирования.

Мы нашли, что наилучшая оценка которая может быть получена путем линейных операций над прошлыми значениями Если может быть реализована путем подачи на линейный фильтр с весовой функцией то, как следует из сказанного выше в настоящем параграфе, должна, конечно, удовлетворять интегральному уравнению (11.9). Небезынтересно отметить, что необходимость выполнения этого уравнения можно доказать непосредственно, используя Пусть

При этом ошибка равна

однако в соответствии с (11.17) ошибка является линейной функцией от белого шума только для значений Следовательно, ошибка не коррелирована с прошлыми значениями являющимися линейной функцией от Таким образом, используя равенство (11.31) и полагая имеем

Разлагая, получаем вариант уравнения (11.9), относящийся к чистому прогнозированию:

Можно проверить непосредственно, что функция определяемая равенством

где определяется в (11.24), формально удовлетворяет уравнению (11.32).

Гауссовские процессы.

Мы показали, что является наилучшим прогнозом для который может быть получен линейной суперпозицией значений , т. е. прошлых значений При этом, естественно, остается открытым вопрос о том, существуют ли нелинейные операции, с помощью которых по прошлым значениям может быть получена лучшая среднеквадратичная аппроксимация Если, однако, -выборочная функция гауссовского вероятностного процесса, то можно показать, что наилучшая линейная среднеквадратичная аппроксимация не хуже любой другой аппроксимации. Доказательство этого утверждения аналогично тем аргументам, с помощью которых было показано, что является наилучшей линейной оценкой; различие связано с тем, что для гауссовских случайных величин некоррелированность влечет за собой статистическую независимость. Предположим, что — гауссовская величина; тогда — гауссовский белый шум. Пусть — некоторый произвольный прогноз для зависящий только от Тогда независимо с

также независимо с Среднеквадратичная ошибка для равна

т. е. не меньше, чем среднеквадратичная ошибка для

Сингулярные и несингулярные процессы.

Как мы упоминали выше, начиная применять в линейной теории прогнозирования фильтрованный белый шум, мы ограничились только такими спектральными плотностями которые могут быть, как в равенстве (11.14), представлены в виде произведения на где — функция передачи физически осуществимого фильтра. Такое ограничение связано с условием несингулярности вероятностного процесса. Стационарный в широком смысле вероятностный процесс называется сингулярным, если его будущие значения могут быть точно предсказаны путем линейных операций над прошлыми значениями; в противном случае процесс называется несингулярным. Важная теорема теории прогнозирования гласит, что стационарный в широком смысле вероятностный процесс является несингулярным в том и только в том случае, если интеграл

где — спектральная плотность процесса, сходится. Если считать, что процесс порожден белым шумом, пропущенным через осуществимый фильтр, то

и условием того, что функция относится к осуществимому фильтру, служит сходимость интеграла

Таким образом, наложенное нами ограничение эквивалентно ограничению допустимых сигналов лишь выборочными функциями несингулярных вероятностных процессов.

Пример 11.3.2. Пусть

где — независимые случайные величины, причем распределена равномерно в интервале имеет четную, а в остальном произвольную плотность распределения вероятностей Тогда стационарный вероятностный

процесс, каждая выборочная функция которого — синусоидальная волна. Нетрудно вычислить, что,

Вместе с тем

Итак, Мы можем выбрать так, чтобы она удовлетворяла критерию (11.34) или не удовлетворяла ему; соответственно в зависимости от выбора процесс может быть сингулярным или несингулярным. В обоих случаях может быть точно предсказана по известным прошлым значениям; однако, если процесс несингулярный, то прогнозирование может быть осуществлено лишь с помощью нелинейных операций.