§ 19. Вероятностная сходимость

В дальнейшем нам придется широко оперировать производными и интегралами от случайных процессов. Обе операции — дифференцирование и интегрирование — предполагают, как известно, сходимость некоторой последовательности величин к пределу. Но для случайных величин, задаваемых не детерминированно, а своими распределениями вероятностей, понятие сходимости к пределу (а тем самым и понятия непрерывности, дифференцируемости, интегрируемости для случайных функций) не может обладать тем же смыслом, какой вкладывается в него в анализе. Для последовательности случайных величин возможно лишь вероятностное определение сходимости к пределу, что, кстати сказать, открывает и более разнообразные возможности в выборе самого определения. Вероятностная сходимость существенна также и для рассмотрения так называемых эргодических свойств случайных функций, к чему мы обратимся в следующем параграфе.

Начнем, для простоты, с рассмотрения различных типов сходимости последовательности случайных величин к (неслучайному) числу а.

Один из видов вероятностной сходимости — сходимость в среднем квадратичном (ср. кв.), под которой понимается обращение в нуль среднего квадратичного отклонения от числа а при

что записывают в виде

Обозначение 1. i. m. составлено из начальных букв английского названия этого предела (limit in the mean square). Использование этого вида сходимости наиболее целесообразно в тех случаях, когда приходится иметь дело с квадратичными (в частности, имеющими энергетический смысл) комбинациями случайных величин.

Равенство (19.1) предполагает, очевидно, конечность самым конечно и среднее значение поскольку . Вычитая и прибавляя в скобках в (19.1), перепишем это равенство иначе:

Но предел суммы двух неотрицательных величин может быть равен нулю, только если равны нулю пределы обоих слагаемых, т. е.

Таким образом, -это предел последовательности средних значений а предел дисперсии равен нулю.

Другой вид вероятностной сходимости к а — сходимость по вероятности (по вер.) - определен следующим образом:

где, как обычно, — любое сколь угодно малое положительное число. В этом случае пишут

Равенство (19.2) означает, что вероятность попадания куда-либо вне сколь угодно узкого интервала в пределе обращается в нуль. Ввиду произвольной малости это в свою очередь означает, что плотность вероятности случайной величины переходит при . Однако отсюда отнюдь не следует, что а есть предел последовательности и что D стремится к нулю. Более того, могут неограниченно нарастать с увеличением N или даже быть бесконечными при всяком N. Пусть, например, неотрицательны и распределены по закону Коши:

При всяком предел при равен нулю, тогда как и предела не существует. Вместе с тем условие нормировки выполнено всегда:

так что стремится при . Нетрудно, однако, убедиться, что при любом N и бесконечны.

Сходимость по вероятности часто называют сходимостью в смысле закона больших чисел. Про случайные величины говорят, что они являются предельно постоянными, если существует такая последовательность постоянных что

Если все одинаковы (равны а), то это равенство переходит в (19.2), т. е. означает, что сходится по вероятности к а или же разность — а сходится по вероятности к нулю.

Сходимость по вероятности следует четко отличать от обычной сходимости

Действительно, относительно поведения эмпирических чисел — значений — математически доказать ничего нельзя. Доказаны могут быть только утверждения, относящиеся к теоретическим понятиям, в том числе к понятию вероятности, как оно определено в исходных аксиомах. В сходимости по вероятности речь идет не о том, что а при , а о том, что вероятность события стремится к единице. Связь этого утверждения с опытом заключена в «аксиоме измерения», согласно которой вероятность измеряется относительной частотой

наступления рассматриваемого случайного события в достаточно длинной серии испытаний, в достаточно обширном ансамбле систем и т. п.

Для лучшего уяснения этой принципиальной стороны вопроса остановимся на некоторых предельных теоремах теории вероятностей, объединяемых под общим названием закона больших чисел, а именно на теоремах, относящихся к тому случаю, когда в (19.2) есть среднеарифметическое N случайных величин

Мы производим серию из N испытаний, берем их результаты и вычисляем среднее (19.3). Затем мы смотрим, имеет ли место событие (назовем его событием BN), состоящее в том, что

Для того чтобы измерить вероятность события BN, мы должны осуществить очень большое число М серий по N испытаний, должны иметь коллектив таких серий. Закон больших чисел (19.2) утверждает, что чем длиннее серии, образующие коллектив (чем больше N), тем ближе к единице, т. е., по «аксиоме измерения», тем большее количество серий будет отвечать наступлению BN (в пределе — практически все):

Таким образом, это вполне содержательное утверждение, но оно становится таким только при четком сопоставлении математического понятия вероятности с эмпирическим понятием относительной частоты. Без этого закон больших чисел остается некоторой теоремой, логически вытекающей из определенной системы аксиом для величины Р, которая определена как вполне аддитивная, неотрицательная и нормированная к единице функция области.

Зачастую этот вопрос, который мы уже затрагивали в § 1, излагается в учебной литературе довольно сбивчиво, без четкого указания на то, что «аксиома измерения», связывающая понятия теории вероятностей с реальными явлениями, с экспериментом и практикой, не содержится в математической теории как таковой. Можно встретить утверждения о том, что фундамент успехов применения теории вероятностей в различных проблемах естествознания и техники заложен именно в законе больших чисел. Если бы это было так, то это означало бы, что

фундамент практических успехов есть логическое следствие определенных абстрактных аксиом и что эти математические аксиомы сами по себе предписывают, как должны вести себя эмпирические величины.

В принципе можно было бы исходить из других аксиом - и построить другую теорию вероятностей, выводы которой, будучи иными, чем в существующей теории, были бы столь же логически безупречны и столь же необязательны для реальных явлений. Положение здесь такое же, как и с различными возможными геометриями. Но как только математическая теория дополняется определенными способами измерения тех величин, с которыми она оперирует, и становится тем самым физической теорией, ситуация меняется. Правильность или неправильность теории перестает тогда быть вопросом только ее логической непротиворечивости, а становится вопросом ее соответствия реальным вещам и явлениям. Приобретает содержание вопрос об истинности самих аксиом, так как теперь это может быть подвергнуто экспериментальной и вообще практической проверке.

Однако еще до такой проверки необходимо внутреннее соответствие между обеими частями физической теории: устанавливаемые способы измерения величин не должны находиться в противоречии с теми уравнениями, которым подчиняет эти величины математическая часть теории. Например, уравнения движения Ньютона предполагают, что сила есть вектор, и поэтому несовместимы с таким способом измерения силы, который характеризовал бы ее только по абсолютной величине. Может быть, в действительности сила не вектор, а скажем, тензор, но это уже другой вопрос, касающийся того, насколько хорошо отражает объективную реальность данная физическая теория в целом. Мы же говорим сейчас лишь о том, что наличие противоречия между математической и измерительной частями физической теории делает ее несостоятельной еще до всякой проверки ее следствий на опыте.

С этой точки зрения закон больших чисел отличается от других — логически равносильных ему — теорем теории вероятностей лишь тем, что он, как будет видно из дальнейшего, особенно отчетливо и явно показывает совместимость математического определения вероятности и частотного способа ее измерения. Он показывает, что частотная «аксиома измерения» не противоречит математической теории, но последняя, разумеется, не заменяет и не может заменить эту «аксиому».

Доказательство различных теорем, имеющих форму закона больших чисел, использует обычно неравенство Чебышева, доказанное в его диссертации в 1846 г. Пусть случайная величина имеет конечную дисперсию Неравенство Чебышева

утверждает, что

Если, в частности, , то неравенство (19.4) принимает вид

Хотя неравенства (19.4) и (19.5) дают лишь весьма грубую оценку Р (более точную оценку можно получить, если иавестен закон распределения ), для теоретических построений они очень полезны и важны.

В случае, когда в неравенстве Чебышева есть среднее арифметическое (19.3) из N случайных величин неравенство (19.5) позволяет доказать теорему Чебышева, являющуюся довольно общим выражением закона больших чисел. А именно, если — последовательность попарно независимых случайных величин, имеющих равномерно ограниченные дисперсии (D С), то

Действительно,

Согласно неравенству Чебышева

откуда для вероятности противоположного события и следует теорема (19.6), т. е. сходимость по вероятности к

Частный случай теоремы Чебышева — теорема Пуассона. Пусть — случайные величины-фиксаторы исхода испытания или 0 в соответствии с наступлением или ненаступлением события А при испытании, при котором . Тогда

Значит,

и теорема Чебышева дает

Это и есть теорема Пуассона. Еще более частный случай — когда . Тогда мы приходим к теореме Бернулли, одной из первых формулировок закона больших чисел:

Остановимся на этой простейшей форме закона. Теорема (19.8) показывает, что с ростом числа испытаний N относительная частота события А, т. е. эмпирическая величина сходится по вероятности к — вероятности события А. Если, бы это было не так, то было бы бессмысленно измерять вероятность при помощи относительной частоты. Но коль скоро это так, то частотный способ измерения вероятностей как (по относительной частоте наступления события А в серии из N испытаний), так и Р (на относительной частоте наступления события в коллективе из М серий по испытаний) может быть принят в качестве дополнения к математической теории, поскольку он ей не противоречит. После этого уже можно и спрашивать, и проверять на опыте, отражает ли получившаяся в результате физическая теория реальные статистические закономерности.

Любопытно, что для выполнения теоремы (19.8) при всяких значениях , т. е. для сходимости по вероятности

достаточно потребовать, чтобы эта сходимость имела место лишь для (относительная частота маловероятных событий должна быть мала).

Запишем теперь теорему Чебышева для случая, когда все — а. Тогда

и теорема принимает вид

что является основой правила среднего арифметического при измерениях. Отдельные могут сильно отклоняться от а, но с вероятностью имеем а при Это происходит потому, что при вычислении среднего значения случайные отклонения отдельных слагаемых компенсируются и в подавляющем большинстве случаев отклонение оказывается очень малым.

Отклонения от а могут быть случайными ошибками измерения. Но если сама точность отсчета при измерении не меньше , т. е. присутствует систематическая ошибка, связанная с ценой деления шкалы, то и точность не меньше при любом N, так что бессмысленно, апеллируя к закону больших чисел, стремиться получить и в этом случае значение а с погрешностью, меньшей , за счет Довольно широко распространено заблуждение, будто бы среднее арифметическое позволяет превзойти ограниченную снизу точность измерения и получать, скажем, с помощью щиткового амперметра отсчет силы тока с точностью до микроамперов.

Возможна и другая ситуация: сама измеряемая величина может быть случайной (шумовой ток и т. п.). Тогда мы можем быть уверены что при , т. е. среднее арифметическое стремится к математическому ожиданию случайной величины.

Условие взаимной независимости результатов измерения случайной величины требует, вообще говоря, выполнения ее замеров через достаточно большие промежутки времени. Однако для справедливости закона больших чисел само это условие независимости не необходимо, так как неравенство Чебышева требует лишь при . Мы не будем останавливаться на более общих теоремах и на необходимых и достаточных условиях, при которых для среднего арифметического справедлив закон больших чисел, так как эти условия касаются самой величины и поэтому менее интересны практически, чем более узкие условия, но относящиеся к отдельным слагаемым

В 1909 г. Э. Борелем (затем — в более общей форме — Ф. П. Кантелли, потом А. Н. Колмогоровым) было доказано более сильное утверждение, чем закон больших чисел. По теореме Бернулли

По Борелю (усиленный закон больших чисел)

т. е. с достоверностью, или, как принято говорить, «почти наверное», относительная частота имеет своим пределом вероятность . Это еще более твердое основание для того, чтобы измерять вероятность относительной частотой.

Опираясь на (19.9), можно ввести еще один вид вероятностной сходимости — сходимость в смысле усиленного закона больших чисел, которую называют также сходимостью с вероятноностью или сходимостью почти наверное :

    (19.10)

Коротко это можно записать в виде

Иногда в связи с определением (19.10) возникает недоумение по поводу того, что в нем фигурирует обычный предел последовательности случайных величин. Создается впечатление, что мы как будто отступаем здесь от высказанного выше утверждения, что сходимость случайных величин может иметь только вероятностный смысл. Но именно об этом идет речь и в данном случае. Среди различных реализаций последовательности возможны и такие реализации, которые сходятся к а в обычном смысле. Можно показать, что множество таких реализаций обладает определенной вероятностью Р [2]. Сходимость почти наверное означает, что эта вероятность, т. е. вероятность случайного события равна единице. Иначе говоря, реализации сходящиеся к а в обычном смысле, «почти исчерпывают» множество всех возможных реализаций последовательности Таким образом, мы никуда не уходим в (19.10) от вероятностного определения сходимости, хотя теперь имеется в виду не предел вероятности (как в сходимости по вероятности), а вероятность предела.

Приведем два из условий сходимости к а почти наверное. Одно из них — необходимое и достаточное

Однако на практике это условие никогда нельзя проверить. Другое — более сильное достаточное условие — состоит в том,

что при каком-либо должен сходиться ряд

Другие достаточные условия и вообще детальную математическую дискуссию вопросов, касающихся вероятностной сходимости, можно найти в книгах [2] (гл. 3) и [3] (гл. 1).

Сходимость в среднем квадратичном влечет за собой (в силу неравенства Чебышева) сходимость по вероятности, а если все почти наверное равномерно ограничены по модулю, то, и обратно, из сходимости по вероятности следует сходимость в среднем квадратичном. Сходимость почти наверное также влечет за собой сходимость по вероятности, но не сходимость в среднем квадратичном; в то же время и сходимость в среднем квадратичном не влечет за собой сходимости почти наверное.

Все сказанное выше о сходимости последовательности случайных величин к числу а естественным образом распространяется и на сходимость к случайной величине g, определенной на том же множестве возможных значений, что и величины Так, например, определение сходимости в среднем квадратичном есть

    (19.11)

а сходимость по вероятности —

    (19.12)

Отличие от (19.1) и (19.2) заключается в том, что усреднение в (19.11) и подсчет вероятности Р в (19.12) требуют теперь знания совместного распределения величин . Если плотность вероятности этого распределения есть , то (19.11) означает, что

a (19.12) означает, что

Так как s сколь угодно мало, из последнего равенства вытекает, что при переходит в .

Обратимся теперь к случайным процессам, т. е. к случайным функциям с непрерывным аргументом

В соответствии с тремя приведенными определениями вероятностной сходимости можно определить и непрерывность

случайной функции в точке t. Речь идет о сходимости при . Следовательно, непрерывность в среднем квадратичном означает, что

или

Подчеркнем, что непрерывность случайной функции по вероятности отнюдь не предполагает непрерывности ее возможных значений. Последние могут быть и дискретными., как, например, заряд, поступивший на анод в задаче о дробовом шуме. Возможные значения заряда кратны заряду электрона , т. е. меняется разрывно. Тем не менее функция предполагается непрерывной по вероятности, т. е. при

Другими словами, предполагается, что вероятность прихода на анод за время заряда равного одному или нескольким , стремится к нулю вместе с

Аналогично вероятностной непрерывности определяется и дифференцируемость случайной функции а именно — как существование предела (в каком-либо из указанных смыслов) выражения

при произвольном переходе Например, дифференцируемость в среднем квадратичном означает, что

или

а дифференцируемость почти наверное означает, что

Следует, однако, предостеречь от поспешного вывода, что переход от случайных последовательностей к случайным процессам представляет собой некий тривиальный шаг. В отношении процессов возможны такие, вполне оправданные, вопросы, ответы на которые связаны с определенными трудностями. Например, непрерывность (или дифференцируемость) процесса в некотором интервале значений t (т. е. в несчетном множестве

точек t), вообще говоря, не принадлежит к случайным событиям, вероятности которых однозначно определяются конечномерными распределениями Однако в соответствии с общими установками, принятыми в этой книге, мы не можем углубляться в такие вопросы, вновь отсылая читателя к математической литературе [2, 3].

В тех же трех смыслах сходимости можно понимать существование предела суммы

где , т. е. существование риманова интеграла от случайной функции

Функция называется тогда -интегрируемой (по вер., или п. н., или в ср. кв., смотря по тому, какая сходимость RN к R имеется в виду). Аналогично можно определить интегралы Стилтьеса:

где — детерминированная функция, — как пределы в каком-либо из вероятностных смыслов интегральных сумм

а также для двух независимых случайных функций интеграл Стилтьеса: