§ 6. Закон больших чисел для стационарных в широком смысле процессов

Пусть стационарный в широком смысле процесс. Мы покажем, что существует предел

в этом и будет состоять закон больших чисел для рассматриваемых процессов. Перед тем, как провести полное доказательство, мы наметим один метод косвенного доказательства, пенный с педагогической (и только педагогическси) точки зрения. Согласно § 3 гл. II, существует гауссовский процесс (не обязательно определенный на том же пространстве 2), для которого

Этот процесс стационарен в узком смысле и, следовательно, для него справедлив усплеввый закон больших чисел (теорема 2.1), т. е. для него предел

существует с вероятностью 1. Пользуясь тем, что рассматриваемые случайные величины являются гауссовскими, легко проверить, что величивы не могут сходиться при если только они не сходятся также и в среднем. Но тогда в (6.1) будет также существовать, так как процессы имеют одну и ту же корреляционную функцию, а сходимость в (6.1) зависит только от поведения этой функции. Вряд с какой-либо точки зрения это доказательство можно считать наилучшим, однако оно удобно тем, что наглядно иллюстрирует связь рассматриваемой теоремы с усиленным законом больших чисел для стационарных в узком смысле процессов и показывает тесную связь между теоремами, касающимися понятий в узком и в широком смыслах вообще.

Ъеорема 6.1. Пусть стационарный в широком смысле процесс, имеющий спектральное представление

Тогда

и

Случайная величина инвариантна (в широком смысле) относительно преобразования сдвига и, является проекцией величины на замк

замкнутое линейное многообразие инвариантных (в широком смысле) случайных величин,

Заметим, что рассматриваемый предел будет равен 0, если, например, Ясно, что, за исключением того обстоятельства, что в равенстве (6.3) допускается большая свобода в осреднении, чем в равенстве (2.1), теорема 6.1 является точным аналогом теоремы 2.1. Для случая, когда в теореме 2.1 величины взаимно независимы и, соответственно, в теореме 6.1 эти же величины взаимно ортогональны, совершенно параллельные друг другу доказательства этих двух теорем были даны в § 6 гл. VII и § 7 гл. IV.

Соотношение (6.3) доказывается очень просто, так как фигурирующие в нем средние значения могут быть непосредственно подсчитаны:

а аналогично

Подинтегральная функция в правых частях последних равенств не превосходит по модулю единицы и при сходится к где

Так как сходящиеся к функции равностепенно ограничены, то эта сходимость является также сходимостью в среднем с весом Следовательно (ср. § 2 гл. IX),

Аналогично

что и завершает доказательство равенств (6.3) и (6.4).

Следующее предложение является аналогом следствия к теореме 2.1. Следствие. Если то

при

Для доказательства этого следствия надо только применить теорему 6.1 к процессу

Этот процесс является стационарным в широком смысле и имеет корреляционную функцию и спектральную функцию (где аргумент берется по модулю 1).

Теорема 6.1 и ее следствие в той части, которая касается существования указанных пределов, приложимы также к стационарным в широком смысле процессам, областью значений параметра которых является множество неотрицательных целых чисел; действительно, для доказательства существования пределов в обоих случаях нужны лишь формальные преобразования корреляционных функций. Заметим еще, что пределы, существование которых утверждается в следствии, во всех случаях будут ортогональными при различных действительно, эта ортогональность также может быть доказана с помощью простых вычислений, использующих только значения корреляционной функции. Однако в случае, когда параметр принимает лишь неотрицательные значения, приходится отказаться от выражения величины этих пределов через значения вероятностного процесса

Теорема 6.1 и следствие из нее показывают, как с помощью линейных операций можно найти разрывы функции и соответствующую компоненту процесса (процесс в терминологии § 5). На практике, конечно, не существует метода, позволяющего, исходя из выборочной последовательности процесса (точнее, из конечного отрезка такой последовательности), получить что-нибудь большее, чем смутное указание на то, что некоторое частное значение X, вероятно, является точкой разрыва Существенно подчеркнуть еще, что если положить в рассматриваемом следствии то оно даст нам выражения для скачков в терминах прошлого поведения процесса, т. е. в терминах величин Предположим, например, что распределение, задаваемое спектральной функцией процесса сосредоточено в конечном или счетном числе точек X (так что в обозначениях § 5 процессы отсутствуют). Тогда, согласно теореме 6.1 и ее следствию, процесс (который представляет собой здесь просто сумму скачков полностью определяется значениями при Из спектрального представления следует, что тогда и сами величины при всех и однозначно определяются значениями при причем определяются линейно, т. е. что каждая из величин может быть сколь угодно точно (в среднем квадратичном) приближена линейной комбинацией величин Тот факт, что это неверно в общем случае, проще всего вытекает из замечания, что это не так, например, в случае взаимно ортогональных величин (подробнее эти вопросы будут рассматриваться в гл. XII). Отсюда понятно, что процесс вообще говоря, не может быть выражен как линейная комбинация величин так что сумма У в равенстве (4.2) никак не может быть заменена суммой 2 или

Теорема 6.2. Если в условиях теоремы 6.1 и если существуют положительные числа такие, что перечисленные ниже равные друг другу выражения удовлетворяют неравенству

то с вероятностью 1

Равенство приведенных в теореме выражений проверяется непосредственно, и доказательство его может быть опущено. Заметим, что для любого процесса эти выражения ограничены (величиной ; основные предположения теоремы состоят, во-первых, в том, что эти выражения стремятся к при (откуда вытекает, что предел в среднем, фигурирующий в предыдущем следствии, равен 0), и, во-вторых, в том, что они приближаются к не медленнее, чем функция Если то условие теоремы будет удовлетворено для всех оно будет также удовлетворено для всех если В частности, ясно, что условие теоремы будет выполняться для всех и. при если только величины взаимно ортогональны. Для этого частного случая наша теорема уже была доказана выше (теорема 5.2 гл. IV).

Для доказательства теоремы в случае выберем столь большим, что Тогда при

так что если наименьшее целое чпсло, большее или равное то

Следовательно (в силу леммы Бореля-Кантелли), для всех достаточно больших с вероятностью 1

и так как произвольно, то с вероятностью 1

Далее,

для соответственный образом выбранного То же рассуждения, что и выше, показывают теперь, что с вероятностью 1

и так как второй из множителей в (6.6) мсжет быть заменен на (поскольку отношение этих множителей стремится к 1 при то из соотношений (6.5) и (6.6) вытекает утверждение теоремы для Обшнй случай легко сводится к только что разобранному с помощью того же приема, который был использован при доказательстве следствия из теоремы 6.1.

§ 7. Оценка функций по выборочной последовательности

Естественно предположить, что в качестве оценки для можно взять среднее значение

Следующая теорема оправдывает это предположение (по крайней мере для случая больших В настоящем параграфе всюду будет предполагаться фиксированным и будет принято обозначение

Теорема 7.1. Предположим, что процессы оба стационарны широком смысле, т. е. что

и что математические ожидания

не зависят от для всех Тогда существует предел

Этот предел в среднем равен с вероятностью 1 величине тогда и только тогда, когда

Если некоторых положительных К и а выполняется неравенство

то с вероятностью 1

Если процесс стационарен не только в широком, но и в узком смысле, то предел (7.2) при существует также и как предел с вероятностью 1. Поеледнее, в частности, будет верно, если процесс действительный и гауссовский, с при всех в этом случае равенство (7.2) выполняется с вероятностью 1 для всех тогда и только тогда, когда

Условие (7.5) равносильно условию, чтобы спектральная функция процесса не имела разрывов.

Согласно этой теореме, оценка (7.1) величины имеющая во всех случаях правильное математическое ожидание (т. е. всегда являющаяся «несмещенной» оценкой), будет «состоятельной» в обычном смысле математической статистики (т. е. будет асимптотически равной только если выполняются некоторые специальные ограничения, налагаемые на процесс Главное в этих ограничениях то, что они уменьшают влияние прошлого процесса на его будущее.

Для доказательства теоремы отметим, прежде всего, что согласно ее условиям, математическое ожидание

не зависит от Следовательно, вероятностный процесс, образуемый случайными величинами является стационарным в широком смысле и имеет нулевые математические ожидания. Но в таком случае в силу теоремы 6.1 существует предел

При этом, согласно той же теореме [см. равенство (6.4)], этот предел будет с вероятностью 1 равен тогда и только тогда, когда предел средних арифметических от значений корреляционной функции процесса при безграничном увеличении интервала осреднения будет равен 0. Но это и есть условие (7.3). Применяя, далее, к процессу теорему 6.2, получим, что условие (7.4) является достаточным для выполнения соотношения (7.2). Если процесс стационарен в узком смысле, то таким же будет и процесс следовательно, так как то в этом случае процесс будет удовлетворять усиленному закону больших чисел. Это означает, что предел в (7.2) будет существовать с вероятностью 1. Этот предел может быть, вообще говоря, как равен, так и неравен в частности, если процесс метрически транзитивен, то, согласно теореме 2.1, этот предел будет заведомо равен В частном случае, когда процесс действительный и гауссовский, этот процесс будет стационарным в узком смысле, если только при всех и процесс стационарен в широком смысле. Если эти условия выполняются, то равенство (7.2) будет верно тогда и только тогда, когда верно (7.3), причем в рассматриваемом теперь случае математические ожидания, используемые в (7.3), легко могут быть подсчитаны, и (7.3) превращается в условие

Если это условие выполняется при то выполняется и условие (7.5). Ясно также, что если верно (7.5), то верно и (7.6):

действительно, в силу неравенства Шварца

Так как все наши рассуждения полностью симметричны относительно то среднее значение в (7.2) можно также заменить на Заключительное утверждение теоремы 7.1 вытекает из следующей тесремы:

Теорема 7.2. Если произвольная корреляционная последовательность, т. е. произвольная положительно определенная последовательность, так что

то

Доказательство этой теоремы крайне просто. Действительно,

При подинтегральная функция в правой части последнего равенства, оставаясь ограниченной, сходится к функции равной всюду, с тем исключением, что Повторяя уже использованные однажды рассуждения, получаем

Здесь сумма в правой частп, разумеется, содержит не более счетного числа слагаемых, так как самое большее для счетного множества значений

Перейдем теперь к рассмотрению проблемы оценки спектральпой функции стационарного процесса по выборочной последовательности. Один из путей получения такой оценки состоит в использовании оценок для некоторых значений корреляционной функции, наиденных нами выше. Следующая теорема показывает, что кроме этого косвенного пути, имеется и более прямой путь.

Теорема 7.3. Предположим, что процесс стационарен в широком смысле и что для каждого с вероятностью 1

Тогда для любых и являющихся точками непрерывности спектральной функции с вероятностью 1

Сходимость к пределу в (7.10) на любом, замкнутом интервале непрерывности функции с вероятностью 1 является равномерной. Если предел в (7.9) существует только как предел в среднем (или даже только как предел по вероятности), то предельное равенство (7.10) будет верно в смысле сходимости по вероятности.

Для доказательства теоремы определим функцию равенством

Тогда при

Следовательно, в силу условия (7.9) с вероятностью 1

Таким образом, коэффициенты Фурье-Стильтьеса функции сходятся к коэффициентам Фурье-Стильтьеса функции Отсюда вытекает (в силу теоремы Леви о сходимости монотонных функций, определенных на замкнутом ограниченном интервале), что во всех точках непрерывности функции для почти всех выборочных последовательностей имеет место сходимость Это доказывает первую часть теоремы. Если предел в (7.9) понимать только как предел по вероятности, то и соотношение (7.10) может быть получено в смысле сходимости по вероятности при полоши перехода к сходящимся подпоследовательностям.

Заметим еще, что неверно было бы заключить из соотношения что величина

может быть использована для аппроксимации спектральной плотности Действительно, в качестве противоречащего примера рассмотрим случай, когда все хдействительны, распределены по нормальному закону и взаимно независимы, причем В этом случае

Но «приближение» здесь является квадратом действительной гауссовской случайной величины со средним значением и дисперсией 1; ясно, что эта величина никак не может приближаться к при Аналогичные соображения могут быть приведены и для других значений Другим, несколько более изящным, противоречащим примером является следующий: пусть взаимно независимые комплексные случайные величины с нулевым средним значением и с взаимно независимыми действительными и мнимыми частями, имеющими математическое ожидание и дисперсию 1/2 (так что Тогда величины

также будут обладать всемп перечисленными свойствами, так что будет здесь квадратом модуля комплексной гауссовской случайной величины с нулевым средним значением, имеющей взаимно независимые действительную и мнимую части, дисперсии которых равны 1/2. Ясно, что здесь не может сходиться при к при каком