УПРОЩЕННЫЙ ВЫВОД ЛИНЕЙНОЙ ТЕОРИИ СГЛАЖИВАНИЯ И ПРЕДСКАЗАНИЯ ПО МЕТОДУ НАИМЕНЬШИХ КВАДРАТОВ

Краткое содержание

Основные результаты теории сглаживания и предсказания стационарных временных рядов Винера — Колмогорова получены новым методом. Примененный подход навеян физическими соображениями, основанными на теории электрических цепей, и не требует применения интегральных уравнений или функций корреляции. Рассмотрены случаи сглаживания с бесконечной задержкой, случай чистого предсказания (без шума) и общая проблема сглаживания и предсказания. В конце обсуждаются основные предположения теории для выяснения вопроса об условиях ее адекватности и для того, чтобы предупредить ее необоснованные приложения.

1. Введение

В классическом отчете, написанном для Национального совета оборонных исследований (США), Винер изложил математическую теорию сглаживания и предсказания, представляющую значительный интерес для теории связи. Почти в то же самое время эта теория была независимо развита Колмогоровым. К сожалению, работы Винера и Колмогорова содержат несколько устрашающий математический аппарат — винеровский отчет в желтой обложке приобрел среди смущенных инженеров название «желтой опасности» — и это воспрепятствовало широкому распространению и использованию, которых заслуживает вышеупомянутая теория. В

данной статье будут получены основные результаты теории сглаживания новым методом, хотя и не таким строгим и общим, как методы Винера и Колмогорова, но наиболее простым, в особенности для читателей, работающих в области электрических цепей. Математические выводы в настоящей трактовке большей частью имеют прямое физическое истолкование, которое позволяет интуитивно осмыслить ход математических рассуждений.

2. Проблема и основные предположения

Основная проблема, которая будет рассмотрена, может быть сформулирована следующим образом: дан искаженный сигнал который является суммой истинного сигнала и искажающего шума

Желательно так обработать чтобы получить по мере возможности истинный сигнал . В более общем случае желательно объединить эту операцию сглаживания с предсказанием, т. е. обработать таким образом, чтобы получить хорошее приближение к тому, что будет представлять собой в будущем, скажем через а секунд, или каким он был в прошлом, а секунд тому назад.

Рис. 1. Проблема сглаживания и предсказания.

В этом случае желательно аппроксимировать где а соответственно положительно или отрицательно. Общая картина схематически изображена на рис. 1; задача заключается в нахождении звена, обозначенного

Мы увидим, что эта проблема и ее обобщения имеют широкое применение не только в теории связи, но и в таких разнообразных областях, как экономическое предсказание, предсказание погоды, артиллерия, статистика и т. д.

Теория Винера — Колмогорова базируется на трех основных предположениях, которые определяют область применения результатов этой теории. Эти предположения следующие.

1. Временные последовательности, представляющие сигнал и шум стационарны. Это значит по существу, что статические свойства сигнала и шума не изменяются со временем. Теория не может быть применена, например, к долговременным

экономическим явлениям, так как статистика, скажем рыночных цен сегодня, не та же, что в 1850 г.

2. В качестве критерия ошибки приближения взято среднеквадратичное различие между действительным и желаемым откликом искомого звена. Согласно рис. 1, это означает, что надо найти звено так, чтобы минимизировать среднеквадратичную ошибку [ среднее берется по всем] возможным функциям сигнала и шума, взвешенным соответственно вероятностям их появления. Это называется средним по ансамблю.

3. Операция для предсказания и сглаживания предполагается линейной операцией над имеющейся информацией, или в терминах теории связи — искомое звено должно быть линейным физически осуществимым фильтром. Имеющаяся в распоряжении информация состоит в знании прошлого искаженного сигнала, т. е. функции при 1, где — настоящий момент времени. Линейный физически реализуемый фильтр производит линейную операцию над во всей этой области, как увидим далее, в соответствии с равенствами (3) и (4).

Поэтому теория может быть охарактеризована как линейное предсказание и сглаживание по методу наименьших квадратов стационарных временных рядов. Ясно, что теория применима только тогда, когда эти три предположения удовлетворяются или хотя бы приблизительно удовлетворяются. Если одно из них изменено или устранено, проблема предсказания и сглаживания становится математически очень трудной, и нам мало что известно о точных решениях. Некоторые из ограничений, налагаемых сделанными предположениями, будут обсуждены далее.

Как можно предсказать все будущее поведение функции, когда все, что известно, — это только искаженные данные о ее прошлом? Этот вопрос тесно связан с проблемами причинности и индукции в философии и вопросом о смысле физических законов. В общем физическое предсказание зависит в основном от предположения, что закономерности, наблюдавшиеся в прошлом, будут сохранены в будущем. Это предположение не может быть доказано дедуктивно, т. е. чисто математической аргументацией, так как можно легко представить себе математический мир, в котором это предположение не верно. Так же это не может быть установлено индуктивно, т. е. обобщением из эксперимента, так как такое обобщение будет основано на предположениях, которые мы попытаемся установить. Это предположение может рассматриваться только как один из центральных постулатов физики.

Классическая физика стремилась свести физический мир к системе строгих законов причинности. Будущее физической системы при этом точно предсказуемо из знания его прошлого, и все, что требуется — это знание настоящего положения системы.

Современная квантовая физика заставила нас отбросить эти представления как несостоятельные. Законы физики теперь истолковываются как статистические, и единственно возможное предсказание является статистическим. «Точные» законы физики содержат неопределенности; эти неопределенности малы, когда изучаются большие объекты, и относительно велики для объектов атомного масштаба.

Теория линейного минимально-квадратичного предсказания и сглаживания основывается на статистическом предсказании. Основное предположение, что статистические закономерности в прошлом должны сохраниться в будущем, проявляется в математике как предположение, что сигнал и шум являются стационарными временными рядами. Это означает, например, что статистический параметр сигнала, усредненный по всему прошлому, даст ту же самую величину, как этот же параметр, усредненный по будущему.

Предсказание существенно зависит от наличия корреляции между будущей величиной сигнала где — настоящий момент времени, и известной величиной для Предположение, что предсказание является линейной операцией, влечет за собой использование только одного типа корреляции, а именно линейной корреляции, т. е. Если бы эта корреляция была нулевой для всех то, как будет показано ниже, никакое существенное линейное предсказание невозможно. Тогда наилучшая среднеквадратичная оценка для будет нулем.