§ 2. Усиленный закон больших чисел для стационарных в узком смысле вероятностных процессов
 
Важнейшей теоремой теории сохраняющих меру преобразований является зргсдическая теорема, формулируемая обычно следующим образом. Пусть  взаимно однозначное сохраняющее меру точечное преобразование
 взаимно однозначное сохраняющее меру точечное преобразование 
 
и х - измеримая и интегрируемая функция на соответствующем пространстве. Тогда предел 
 
существует и конечен для почти всех  Так как
 Так как  также является сохраняющим меру точечным преобразованием, то в этой формулировке
 также является сохраняющим меру точечным преобразованием, то в этой формулировке  можно заменить на
 можно заменить на  в дальнейшем мы покажем даже, что величина предела при этом остается той же самой (с точностью до значений на
 в дальнейшем мы покажем даже, что величина предела при этом остается той же самой (с точностью до значений на  -множестве меры 0). Поскольку сохраняющие меру преобразования множеств являются небольшим обобщением сохраняющих меру точечных преобразований, то следующее предложение несколько обобщает сформулированную выше теорему. Если
-множестве меры 0). Поскольку сохраняющие меру преобразования множеств являются небольшим обобщением сохраняющих меру точечных преобразований, то следующее предложение несколько обобщает сформулированную выше теорему. Если  сохраняющее меру преобразование множеств и
 сохраняющее меру преобразование множеств и  -измеримая и интегрируемая функция на соответствующем пространстве, то предел
-измеримая и интегрируемая функция на соответствующем пространстве, то предел 
 
существует и конечен для почти всех  Заметим, что преобразованию
 Заметим, что преобразованию  в этом варианте эргодической теоремы соответствует в первоначальном варианте преобразование
 в этом варианте эргодической теоремы соответствует в первоначальном варианте преобразование  Заметим еще, что последний вариант эргодической теоремы непосредственно приложим и к теоретико-вероятностным рассмотрениям: в этом случае соответствующая теорема называется усиленным законом больших чисел для стационарных в узком смысле вероятностных процессов. Использование языка теории вероятностей позволяет уточнить смысл предела, фигурирующего в теореме; вместе с тем рассмотрения § 1 показывают, что теорема теории вероятностей, к формулировке которой мы сейчас перейдем, лишь словесно отличается от сформулированного выше предложения теории меры. (Преобразование
 Заметим еще, что последний вариант эргодической теоремы непосредственно приложим и к теоретико-вероятностным рассмотрениям: в этом случае соответствующая теорема называется усиленным законом больших чисел для стационарных в узком смысле вероятностных процессов. Использование языка теории вероятностей позволяет уточнить смысл предела, фигурирующего в теореме; вместе с тем рассмотрения § 1 показывают, что теорема теории вероятностей, к формулировке которой мы сейчас перейдем, лишь словесно отличается от сформулированного выше предложения теории меры. (Преобразование  используемое в теореме теории меры, в вероятностной теореме переходит в преобразование сдвига стационарного процесса.)
 используемое в теореме теории меры, в вероятностной теореме переходит в преобразование сдвига стационарного процесса.) 
Теорема 2.1. Пусть  стационарный в узком смысле вероятностный процесс, у которого
 стационарный в узком смысле вероятностный процесс, у которого  и
 и  -борелевское поле инвариантных
-борелевское поле инвариантных  -множеств. Тогда с вероятностью 1
-множеств. Тогда с вероятностью 1 
 
В частном случае, когда процесс метрически транзитивен, правая часть равенства (2.1) может быть заменена на  
 
Эту теорему иногда формулируют, используя  несколько иные средние значения. Так, например, ясно, что среднее значение в левой части равенства (2.1) можно заменить на
 несколько иные средние значения. Так, например, ясно, что среднее значение в левой части равенства (2.1) можно заменить на 
 
где к фиксировано; величина предела при этом не изменится. Если значениями параметра процесса являются все целые числа, то мы можем также обратить направление оси времени, т. е. заменить  на
 на  при
 при  этом предел среднего значения величин
 этом предел среднего значения величин  при
 при  также будет существовать с вероятностью 1. Поскольку инвариантные множества оператора сдвига и обратного оператора одни и те же, то этот предел будет совпадать с (2.1). Отсюда следует, что и среднее значение
 также будет существовать с вероятностью 1. Поскольку инвариантные множества оператора сдвига и обратного оператора одни и те же, то этот предел будет совпадать с (2.1). Отсюда следует, что и среднее значение 
 
 
тоже имеет при  тот же самый предел (с вероятностью 1). Однако предел
 тот же самый предел (с вероятностью 1). Однако предел 
 
(с вероятностью 1), вообще говоря, может и не существовать. 
Важнейшим частным случаем нашей теоремы является случай взаимно независимых величин  В этом случае гипотеза о стационарности процесса сводится к предположению, что величины
 В этом случае гипотеза о стационарности процесса сводится к предположению, что величины  одинаково распределены. Согласно теореме 1.2, каждый процесс такого тппа является метрически транзитивным, так что предел в (2.1) здесь будет равен
 одинаково распределены. Согласно теореме 1.2, каждый процесс такого тппа является метрически транзитивным, так что предел в (2.1) здесь будет равен  Два различных доказательства усиленного закона больших чисел для этого частного случая нами были уже даны в гл.
 Два различных доказательства усиленного закона больших чисел для этого частного случая нами были уже даны в гл.  (теорема 5.1) и гл. VII (§ 6).
 (теорема 5.1) и гл. VII (§ 6). 
Перед доказательством теоремы 2.1 нам будет удобно привести три леммы. 
Лемма 2.1. Пусть  произвольные действительные числа; обозначим через
 произвольные действительные числа; обозначим через  совокупность целых чисел
 совокупность целых чисел  меньших
 меньших  и таких, что
 и таких, что 
 
В таком случае  состоит из нескольких групп псследовательных целых чисел; если
 состоит из нескольких групп псследовательных целых чисел; если  — первое и последнее числа одной из таких групп, то
 — первое и последнее числа одной из таких групп, то 
 
Действительно, поскольку  (или
 (или  ), так что из того, что
), так что из того, что  вытекает, что
 вытекает, что 
 
Если  то
 то  следовательно,
 следовательно, 
 
Лемма 2.2. Пусть  действительный стационарный вероятностный процесс, такой, что
 действительный стационарный вероятностный процесс, такой, что  Тогда, если
 Тогда, если  произвольное постоянное число,
 произвольное постоянное число,  инвариантное относительно нашего процесса множество значений
 инвариантное относительно нашего процесса множество значений  то
 то 
 
При замене последовательности  на
 на  величина
 величина  заменится на
 заменится на  так что ясно, что лемму достаточно доказать для
 так что ясно, что лемму достаточно доказать для  Определим теперь множества
 Определим теперь множества  соотношениями
 соотношениями 
 
гак что  будет сходиться снизу к А при
 будет сходиться снизу к А при  Применим лемму 2.1 к выборочной последовательности
 Применим лемму 2.1 к выборочной последовательности  и пусть
 и пусть  совокупность точек со, при которых
 совокупность точек со, при которых  входит в множество
 входит в множество  определенное в лемме 2.1. т. е.
 определенное в лемме 2.1. т. е. 
 
 
Тогда в силу указанной леммы 
 
где сумма распространена на те значения  для которых
 для которых  Отсюда следует, что
 Отсюда следует, что 
 
и поскольку преобразование  сохраняет меру, то, следовательно,
 сохраняет меру, то, следовательно, 
 
Но 
 
так что, разделив (2.6) на  и полагая
 и полагая  мы поллчим
 мы поллчим  (при
 (при  
 
Лемма 2.3. Если выполнены условия теоремы 2.1 и если процесс  является действительным, то случайные величины
 является действительным, то случайные величины 
 
инвариантны. 
Мы приведем здесь доказательство только для величины  Требуется показать, что с вероятностью 1
 Требуется показать, что с вероятностью 1 
 
Но 
 
и лемма доказана. Заметим, что пока мы еще не доказали, что величины  принимают конечные значения.
 принимают конечные значения. 
Перейдем теперь к доказательству основной теоремы 2.1. Достаточно доказать эту теорему для действительного случая. Если  и если обозначает инвариантное
 и если обозначает инвариантное  -множество
-множество  то, очевидно,
 то, очевидно,
 
 
и, следовательно, в силу леммы 2.2 
 
Применяя этот результат к  и заменяя
 и заменяя  на
 на  получаем
  получаем 
 
 
Комбинируя (2.8) и (2.9), находим, что  Так как
 Так как 
 
 
то  с вероятностью 1. Отсюда вытекает, что существует (конечный или бесконечный) предел х. Применяя теперь лемму Фату к средним
 с вероятностью 1. Отсюда вытекает, что существует (конечный или бесконечный) предел х. Применяя теперь лемму Фату к средним 
 
получаем, что величина х с вероятностью 1 конечна и интегрируема; это вытекает также и из дальнейших более глубоких соображений. Для того чтобы отождествить  надо доказать, что величина х конечна с вероятностью 1, интегрируема и для каждого инвариантного
 надо доказать, что величина х конечна с вероятностью 1, интегрируема и для каждого инвариантного  удовлетворяет соотношению
 удовлетворяет соотношению 
 
Легко видеть, что для этого достаточно показать, что средние значения 
 
равномерно интегрируемы; действительно, в таком случае их предел х будет конечен с вероятностью 1, интегрируем и (поскольку из равномерной интегрируемости вытекает допустимость предельного перехода под знаком интеграла) для любого инвариантного  будет
 будет 
 
т. е. будет верно равенство (2.11). Сейчас мы докажем даже более сильное утверждение, состоящее в том, что не только средние, фигурирующие в эргодической теореме, равномерно интегрируемы, но и что их 8-е степени также равномерно интегрируемы, если только  Для доказательства этого обозначим через произвольное положительное число и выберем
 Для доказательства этого обозначим через произвольное положительное число и выберем  настолько малым, что
 настолько малым, что 
 
Поскольку все  имеют одинаковое распределение вероятностей, то всегда можно выбрать положительное
 имеют одинаковое распределение вероятностей, то всегда можно выбрать положительное  обладающее указанным свойством. Далее,
 обладающее указанным свойством. Далее, 
 
так что рассматриваемые интегралы, взятые по множествам малой вероятности, оказываются равномерно малы. Отсюда сразу вытекает равномерная интегрируемость, если только известно, что интегралы по всему пространству равномерно ограничены. Но последнее свойство сразу следует из того, что если в (2.12) положить  то интеграл в правой части сведется к
 то интеграл в правой части сведется к  При
 При  доказанная нами равномерная интегрируемость вытекает также из следующего неравепства, получаемого комбинированием
 доказанная нами равномерная интегрируемость вытекает также из следующего неравепства, получаемого комбинированием 
 
леммы 2.2 (с заменой  на
 на  с теоремой 3.4 гл. VII:
 с теоремой 3.4 гл. VII: 
 
Остается еще только заметить, что если  то
 то 
 
поскольку переход к пределу под знаком математического ожидания здесь возможен ввиду равномерной интегрируемости соответствующих средних. Таким образом, здесь имеет место сходимость в среднем порядка о. 
Из теоремы 2.1 вытекает следствие, которое существенно для гармонического анализа выборочных функций стационарных в узком смысле процессов: 
Следствие. Если действительное число из интервала  то предел
 то предел 
 
существует с вероятностью 1. Случайная величина  имеет конечное математическое ожидание
 имеет конечное математическое ожидание 
 
и преобразуется оператором сдвига в  При этом для всех за исключением самое большее счетного множества значений,
 При этом для всех за исключением самое большее счетного множества значений, 
 
Если 
 
и 
 
Заметим, что при  предел
 предел  сводится к пределу, фигурирующему в теореме 2.1. Как и в этой теореме, среднее значение
 сводится к пределу, фигурирующему в теореме 2.1. Как и в этой теореме, среднее значение  может быть заменено здесь на
 может быть заменено здесь на  . Для доказательства следствия введем в рассмотрение случайную величину о, равномерно распределенную в интервале (0,1) и независимую от процесса
. Для доказательства следствия введем в рассмотрение случайную величину о, равномерно распределенную в интервале (0,1) и независимую от процесса  Точнее говоря, для построения такой величины 9 присоединим к пространству 2 повое пространство (как это описано в § 2 гл. II) так, чтобы для любого борелевского множества А и любого измеримого множества
 Точнее говоря, для построения такой величины 9 присоединим к пространству 2 повое пространство (как это описано в § 2 гл. II) так, чтобы для любого борелевского множества А и любого измеримого множества  иметь
 иметь 
 
при этом все случайные величины мы должны теперь рассматривать как функции на расширенном пространство. В таком случае для каждого  
 
 
вероятностный процесс 
 
оказывается стационарным в узком смысле, так что, согласно теореме 2.1, 
 
существует с вероятностью 1. Тем самым определена величина  совершенно очевидно, что при сдвиге она будет переходить в
 совершенно очевидно, что при сдвиге она будет переходить в  При доказательстве теоремы 2.1 мы видели, что если
 При доказательстве теоремы 2.1 мы видели, что если  при некотором
 при некотором  то случайные величины
 то случайные величины 
 
равномерно интегрируемы (для этого надо только наше доказательство применить не к  Следовательно, и случайные величины
 Следовательно, и случайные величины 
 
равномерно интегрируемы, откуда вытекает, что 
 
(так как из равномерной интегрируемости следует законность перехода к пределу под знаком математического ожидания). Таким образом,  этом случае будет иметь место сходимость в среднем порядка 8. В частности,
 этом случае будет иметь место сходимость в среднем порядка 8. В частности,  мы находим, что средние (2.14) равномерно интегрируемы и, значит,
 мы находим, что средние (2.14) равномерно интегрируемы и, значит, 
 
(очевидно, что при  наше значение математического ожидания можно получить и непосредственно из теоремы 2.1).
 наше значение математического ожидания можно получить и непосредственно из теоремы 2.1). 
При  процесс
 процесс  является стационарным в широком смысле; для этого случая равенство (2.15) и взаимная ортогональность величин
 является стационарным в широком смысле; для этого случая равенство (2.15) и взаимная ортогональность величин  будут доказаны в § 6 иным методом. Для нашего случая равенство (2.15) уже доказано (действительно, мы доказали даже более общее предложение, касающееся произвольной степени
 будут доказаны в § 6 иным методом. Для нашего случая равенство (2.15) уже доказано (действительно, мы доказали даже более общее предложение, касающееся произвольной степени  Так как преобразование сдвига сохраняет вероятности, то оно сохраняет
 Так как преобразование сдвига сохраняет вероятности, то оно сохраняет  математические ожидания; поэтому
 математические ожидания; поэтому  
 
 
так что величины  взаимно ортогональны. Пусть
 взаимно ортогональны. Пусть  — значения
 — значения  для которых
 для которых  Тогда последовательность
 Тогда последовательность 
 
 
будет ортонормированной последовательностью случайных величин; величину  можно разложить в ряд Фурье по этой последовательности,
 можно разложить в ряд Фурье по этой последовательности,
 
 
где
 
 
и (неравенство Бесселя) 
 
Применяя теперь преобразование сдвига, получим, что  
 
Но тогда неравенство (2.16) принимает вид 
 
Поскольку  произвольные числа, для которых
 произвольные числа, для которых  то может существовать самое большее счетное множество таких значений
 то может существовать самое большее счетное множество таких значений  при которых
 при которых  Это завершает доказательство нашего следствия с тем только исключением, что утверждение о счетностд рассматриваемого множества значений и. в формулировке следствия приводилось без предположения о том, что
 Это завершает доказательство нашего следствия с тем только исключением, что утверждение о счетностд рассматриваемого множества значений и. в формулировке следствия приводилось без предположения о том, что  того чтобы избавиться от этого ограничения, мы заметим, что если
 того чтобы избавиться от этого ограничения, мы заметим, что если  и равно
 и равно  в противоположном случае, то процесс (где N фиксировано) также будет стационарным в узком смысле, причем для него
 в противоположном случае, то процесс (где N фиксировано) также будет стационарным в узком смысле, причем для него  Определяя
 Определяя  для величин
 для величин  аналогично тому, как х определялось для
 аналогично тому, как х определялось для  мы найдем, что, за исключением счетного множества значений
 мы найдем, что, за исключением счетного множества значений  предыдущий результат здесь применим, поскольку
 предыдущий результат здесь применим, поскольку  ограничено. Но
 ограничено. Но 
 
Следовательно (в силу леммы Фату или равномерной интегрируемости), при  мы получаем
 мы получаем 
 
так что, если  
 
 
Поскольку правая часть последнего неравенства стремится к нулю при  то
 то  левая часть должна быть нулем, что и завершает доказательство.
 левая часть должна быть нулем, что и завершает доказательство. 
 
Пусть  преобразование сдвига, соответствующее процессу
 преобразование сдвига, соответствующее процессу  и пусть
 и пусть  - случайная величина, измеримая относительно семейства величин
 - случайная величина, измеримая относительно семейства величин  и такая, что
 и такая, что  Тогда, согласно приведенному здесь следствию, для всех
 Тогда, согласно приведенному здесь следствию, для всех  существует с вероятностью 1 предел
 существует с вероятностью 1 предел 
 
Несколько обобщив наши рассуждения, можно показать, что имеется самое большее счетное множество  (не зависящее от выбора
 (не зависящее от выбора  значений
 значений  такое, что
 такое, что 
 
Полное понимание разобранных выше результатов требует знания спектральной теории унитарных операторов, с которой читатель может ознакомиться по специальной литературе, посвященной этому предмету.