ПРИЛОЖЕНИЕ

ГЛАВА I

§§ 1-5

Основополагающая работа о сведении понятий теории вероятностей к понятиям теории меры принадлежит Колмогорову [5, 19.43].

Гипотеза о полноте меры используется лишь при изучении свойств сепарабельности и измеримости вероятностного процесса (см. § 2 гл. II). Таким образом, эта гипотеза оказывается фактически ненужной, когда рассматриваются только конечные или счетные совокупности случайных величин (иначе говоря, вероятностные процессы с дискретным параметром); она не нужна также и для значительной части теории несчетных бесконечных совокупностей случайных величин (вероятностных процессов с непрерывным параметром).

§ 6

Роль теории изображений как способа сведения различных вероятностных теорем к стандартным теоремам теории меры была подчеркнута Дубом [4, 1938].

§§ 7, 8

Определение и основные свойства условных вероятностей и условных математических ожиданий в терминах теории меры были даны Колмогоровым [5, 1933].

§ 9

Теоремы 9.4 первоначально не было в тексте. Мой указала автору, что эта теорема содержится в его доказательстве теоремы 9.5 и заслуживает особого выделения.

Для того чтобы избежать загромождения основного текста, теорема 9.5 была сфорыулиропана нами не в наибольшей общности. На самом деле единственным фактически использованным свойством множества значений является его измеримость по для каждой меры Так как аналитические множества обладают этим свойством, то теорема останется верной, если предположить только, что является аналитическим множеством, а не обязательно борелевским, как предполагалось в тексте. Кроме того, теорема, очевидно, останется верной, если в ее условии заменить множество его произвольным подмножеством имеющим вероятность 1. Новую теорему, получающуюся, если допустить, что может быть любым аналитическим множеством, и заменить на мы будем называть обобщенным вариантом теоремы 9.5. (Можио показать, впрочем, что после замены У на теорема уже становится более общей, если разрешить быть любым аналитическим множеством, а не обязательно борелевским.) Условия обобщенного варианта теоремы 9.5 удовлетворяются (при любом выборе если Я — полное сепарабельное метрическое пространство и если заданная вероятностная мера является мерой (полной I ли нет — безразлично) на совокупности борелевских множеств. Эти условия удовлетворяются также любом выборе в случае, когда пространство и заданная вероятностная мера обладают тем свойством, что если х — любая случайная величина, одномерное множество такое, что -множество является измеримым, то

где В — открытые множества. Гнеденко и Колмогоров [1, 1919] ввели это последнее условие в само определение вероятностной меры.

Заметим еще, что если класс измеримых -множеств является борелевским полем, порожденным некоторым счетным подклассом, то существует случайная величина х такая, что класс множеств где А — одномерные борелевскне множества, совпадает с Поэтому если случайная величина х удовлетворяет условиям обобщенного варианта теоремы 9.5, то существует условное распределение на множествах относительно любого борелевского поля измеримых -множеств.

В заключение рассмотрим следующий пример. Пусть пространством 2 является интервал [0, 1] и есть класс борелевских подмножеств этого интервала. Далее, пусть А — фиксированное подмножество пространства 2, имеющее внешнюю меру Лебега 1 и внутреннюю меру Лебега 0, и борелевское поле, порожденное множеством А и множествами из иначе говоря, класс всех множеств вида где А — дополнение множества из Вероятностную меру на множествах из определим соотношением

где - мера Лебега множества В. Легко проверить, что это определение является однозначным и что оно действительно определяет вероятностную меру на множествах из Эта вероятностная мера сводится к мере Лебега на борелевских множествах и равна 1/2 на множестве А. Легко проверить, что условное распределение вероятностей на множествах класса х относительно не существует. Пусть теперь х — функция, определенная на нашем пространстве и обладающая свойством, что класс множеств вида где -борелевские множества, совпадает с Такая функция строится тривиальным образом, и она не может иметь условного распределения вероятностей относительно Этот пример противоречит одной теореме Дуба [4, 1938, теорема 3.1], согласно которой условная вероятностная мера множеств относительно поля всегда существует, если борелевское поле, порожденное счетным подклассом его множеств. Ошибочность этой теоремы и одной связанной с ней теоремы [там же, теорема 1.1] была указана Дьедонне, а также Андерсенса и Иессеном. Несколько более специальный противоречащий пример, не приводящий к полному опровержению возможности существования условного распределения вероятностей в том смысле, в каком оно определено в этой книге, содержится у Халмоша [3, 1950, § 48].

§ 10

Результаты этого параграфа принадлежат Колмогорову [5, 1933].

§ 11

Неравенства (11.8), (11.8), (11.8), (11.9), (11.9), (11.10) в той форме, в какой здесь приводятся, являются новыми, однако в неявном виде они (или, по крайней мере, некоторые их частные случаи), уже встречались в литературе. Все эти неравенства были подсказаны автору неравенством и множеством являющимся интервалом и одним из вариантов неравенства (11.9), содержащимся у Винтнера стр. 18].

ГЛАВА II

§ 1

В некоторых случаях оказывается удобным считать, что значениями параметра вероятностного процесса являются множества из некоторого аддитивного семейства множеств. Общее изложение этой точки зрения см. в работе Бохнера [2, 1942]. Например, процесс брауновского движения (пример 1 из § 9) допускает следующее обобщение: каждой конечной сумме 1 из -мерных интервалов сопоставляется гауссовская случайная величина с математическим ожиданием и дисперсией, равной -мерному объему совокупности имеют -мерные гауссовскпе распределения, причем математическое ожидание равно объему пересечения При множестве, совпадающем с интервалом вероятностный процесс является обычным процессом брауновского движения, определенным в § 9. Отметим, что даже если параметр отождествляется с элементом семейства множеств (как в приведенном выше примере), то существование соответствующего процесса все равно гарантируется выполнением колмогоровских условий согласованности, рассмотренных в § 5 гл. I, поскольку в этом параграфе предполагалось, что значения параметра принадлежат иеиоторому абстрактному множеству.

§ 2

Дальнейшее обсуждение понятий сепарабельности и измеримости вероятностных процессов и связанных с этим вопросов см. в работах Дуба [3, 1937 ; 5, 1940; 9, 1947], Амброза [1, 1940] и Дуба и Амброза [1, 1940]. Подход, изложенный в § 2 и

используемый протяжении всей этой книги, является несколько более общим, чем тот, который имеется в указанных статьях, в том смысле, что выбор в качестве основного -пространства пространства функций или какого-либо его простого видоизменения, а в качестве случайных величин, задающих процесс, — координатных величин рассматривается теперь всего лишь как изящный частный случай. Поэтому и терминология в основных теоремах о сепарабельности и измеримости, принятая в § 2, несколько отличается от терминологии в перечисленных выше статьях. Связи между различными имеющимися здесь подходами были рассмотрены Дубом и Амброзом [1, 1940]. Точку зрения, аналогичную принятой в этой книге, можно найти у Слуцкого [2, 1937].

Если не предполагать, что мера является полной, то в определении сепарабельности на стр. 53 нужно предположить, что два множества, указанные в строне 16, отличаются на измеримое подмножество множества

Укажем еще раннюю работу Слупкого [1, 1928], в которой интеграл

определяется не как интеграл от выборочной функции а как случайная величина, равная пределу в среднем соответствующих римановых сумм.

§ 3

Взаимосвязь между понятиями в узком и широком смысле для ряда частных случаев хорошо известна специалистам по теории вероятностей. В настоящем изложении эта взаимосвязь определяется более аккуратно, чем обычно, и систематически прослеживается на протяжении всей книги с целью помочь пониманию и ориентировке в большом количестве результатов.

§ 6

Марковские процессы в работе Колмогорова [3, 1931] назывались стохастически определенными. Марковское свойство иногда неточно определяют как свойство, состоящее в том, что условная вероятность при не зависит от если Это определение, конечно, некорректно, так как для любого вероятностного процесса (марковского или нет — безразлично) указанная условная вероятность нвляется случайной величиной, определяемой вне всякой связи с каким-либо

§ 7

Название мартингал принадлежит Биллю [1, 1939]. Дуб [5, 1940] называл свойство, определяющее мартингал, свойством

§ 9

Процессы с независимыми приращениями назывались дифференциальными процессами в работе Дуба [3, 1937], однвродными процессами в книге Крамера [1, 1937] (где рассматривался только случай стационарных приращений), интегралами от случайных алементов в исследованиях Леви [2, 1934; 5, 1937] и аддитивными процессами в книге Леви [7, 1Е48]. Систематическое изучение этих пространств было начато Финетги [1, 1929].

ГЛАВА III

§ 1

Различные варианты закона нуля или единицы у Колмогорова [5, 1933] и Иессена [1, 1934]. Многочисленные частные случаи закона были замечены еще до того, как была обнаружена общая теорема.

§ 2

Усилевное утверждение теоремы 2.1 (неравенство (2.1)] принадлежит Колмогорову (1, 1928], который предполагал, что величавы взаимно независимы. Тот факт, что доказательство использует лишь предположения, указанные в теореме 2.1 и выражающиеся через условные математические ожидания, отмечался различными авторами.

Теорема 2.3 принадлежит Хинчину и Колмогорову [1, 1924|. Теоремы 2.4 и 2.5 принадлежат Колмогорову [1, 1928, а такжэ рабэта, указанная в предыдущей ссылке]. Результаты этих авторов были развиты дальше Левя [1, 1931], Иессеном |1, 19.44], Иессеном и Винтнером [1, 1935]. См. также работы Марцпнкевича [1, 1937; 2, 1938], Марцннкевича и Зигмунда [1, 1937], Ван Кампена и Винтнера [1, 1937], Ван Кампена [1, 1940], книги Виятнера [2, 1938; 3, 1947], книгу Леви [5, 1937] и работу Кунисава [1, 1949]. Вместо того чтобы рассматривать бесконечные ряды из взаимно независимых случайных величин, можно изучать бесконечные композиции функций распределения этих случайных величин; этот подход использовался Ван Кампеном и Винтвером. При подходе, использованном Левя, основную роль играет явное рассмотрение убывающей концентрации последовательных частных сумм ряда из взаимно независимых случайных величин. Кавата [1, 1941] несколько упростил подход Леви, осрсдннв введенную Леви функцию концентрации распрэделения, а Кунисава в указанной выше работе дал полное изложение вопроса, основанное на таких осрздненнцк функциях концентрации. Кавата и Удагаца [1, 1949] показали, что в теореме 2.7 можно использовать критерии, основанные на поведении характеристических функций на любом множестве положительной меры, что приводит к результатам, лишь слегка более слабым, чем доказанные в этой теореме.

В доказательстве следствия из теоремы 2.7 используется неравенство

верное при любых комплексных по модулю не превосходящих 1. Достаточно доказать это неравенство для конечного числа сомножителей Для одного единственного неравенство тривиально. Для того чтобы довести до конца доказательство, нам нужно лишь показать, что это неравенство будет верным для если только оно справедливо для Нужное нам утверждение вытекает из того, что

§ 3

Необходимые и достаточные условия для выполнимости обычного закона больших чисел были найдены Колмогоровым [1, 1928] и в несколько более обшом случае Феллером [4, 1937]. См. также работы Марцинкевича [3, 1938], Деблина [2, 1939], Гнеденко [1, 1939; 3, 1944] и Кунисава [1, 1949].

Теорема 3.4 принадлежит Колмогорову [2, 1930].

Обобщение этих теорем на зависимые случайные величины см. у Лоэва [2, 1945].

§ 4

Формула (4.6) для характеристической функции безгранично делимого закона была найдена Леви [2, 1934]. Вывод этой формулы для того частного случая, когда рассматриваемое распределение имеет конечный второй момент, был ранее дан Колмогоровым [4,19321. См. также изложение результатов Колмогорова в книге Крамера [1, 1937, гл. VIII]. Аналитический вывод был дан впервые Хинчиным [3, 1937] и Феллером [3, 1937]. Приводимый здесь вывод является несколько более прямым, чем первоначальные выводы, что объясияется использованием неравенств для характеристических функций, полученных в § 11 гл. I.

Общее изучение предельных законов для сумм независимых случайных величин см. у Деблина [2, 1939], Гнеденко [1, 1939; 3, 1944], Хинчина [4, 1938] и Гнеденко Колмогорова [1, 1949].

Необходимые и достаточные для справедливости центральной предельной теоремы условия (по существу, эквивалентные теореме 4.2) были нолучены Леви [3, 1935] и в аналитической форме Феллером [1, 1935]. См. также работы Деблина [2, 1939], Гнеденко [1, 1939] и Марцинкевича [3, 1938]. Теорема 4.3 принадлежит Линдебергу [1, 1922]. Теорема 4.4 является, классическим вариантом центральной предельной теоремы, принадлежащим Ляпунову. Обобщения этих теорем на зависимые случайные величины и ссылки на дальнейшую литературу о таких обобщениях см. у Лоэва [2, 1945].

§ 5

Теорема 5.1 принадлежит Колмогорову [5, 1933]. Ему же принадлежит приводимое адесь доказательство этой теоремы.

Теорема 5.2 принадлежит Дубу [2, 1936].

ГЛАВА IV

Так как существует много хороших изложений теории ортогональных функций с различных точек зрения, то гл. IV написана весьма сжато. Однако эта глава не может

быть совсем опущена. Например, теорема Рисса-Фишера о том, что последовательность функций, для которой выполняется критерий Коши сходимости в среднем, имеет предел в среднем, т. е. о том, что пространство является полным пространством, является теоремой теории вероятностей в не меньшей степени, чем центральная предельная теорема, и поэтому в не меньшей степени относится к материалу этой книги. Отсюда, разумеется, не следует, что мы предлагаем отделить теорию ортогональных функций от тесрии меры и теории гильбертовых пространств и присоединить ее к теории вероятностей. Однако условие взаимной ортогональности двух функций является в точности однпм из условий, используемых в теории вероятностей, и этот факт не становится менее верным от того, что теория ортогональных функций возникла и развивалась вне связи с тем, что в тот период понимали под теорией вероятностей. Уступая традиции, мы опустили в § 4 гл. I доказательство теоремы Рисса-Фишера, поскольку оно имеется в многочисленных легко доступных руководствах по ортогональным функциям.

В качестве общих ссылок, относящихся ко всему материалу гл. IV, укажем книги Начмажа и Штеннгауза [1, 1935] и Стоуна [2, 1932]. Материал § 6 см. в частности, у Зигмунда [1, 1935].

ГЛАВА V

§§ 1-4

Общее изложение теории цепей Маркова см. в книгах Гостинского [1, 1931], Фреше [2, 1938] (в обеих этих книгах имеется также подробная библиография), Романовского [1, 1949] и Феллера [6, 1950]. Рассмотрение цепей Маркова без всяких ограничений на число возможных состояний имеется у Колмогорова [6, 1936], Иосида и Какутани [1,1939], Дуба [7, 1942] и Феллера [6, 1950]. Основные результаты для случая конечного числа состояний [§ 2 случай б)] восходят к Маркову [1, 1906] и впоследствии неоднократно переоткрывались. Фундаментальная работа о цепях Маркова со счетным числом состояний принадлежит Колмогорову [6, 1936].

§ 5

Изложение в § 5 совпадает по существу с изложением, данным Деблпным [1, 1937]; однако оно обобщено на случай абстрактного пространства состояний и дополнено анализом возможных классов -троек Изложение теории марковских процессов с (вообще говоря) непрерывным пространством состояний было дано с различной степенью общности многими различными методами Колмогоровым [3, 1931], Фреше [1, 1934], Крыловым и Боголюбовым [2,3, 1937], Дубом [4, 1938; 10, 1948], Деблиным [1, 1937; 5. 1940], Иосида и Какутани [2, 1941], Бебутовым [1, 19421, Ягломом [1, 1947], Иосида [2, 1948]. Наиболее далеко идущей из этих работ является работа Деблина 1940 года. Более ранние и менее окончательные публикации в этом списке опущены.

§ 6

См. также обсуждение закона больших чисел для марковских пропессов с другой точки зрения в работах Дуба [4, 1938; 10, 1948], Иосида [1, 1940] и Какутани [1, 1940].

§ 7

Центральная предельная теорема для случая цепей Маркова принадлежит Маркову [2, 1924]. Теорема 7.5 при дополнительном предположении, что функция ограничена, принадлежит Деблину [1, 1937].

Обсуждение центральной предельной теоремы для случая последовательности, в которой независимы достаточно далеко отстоящие друг от друга члены (как это было в нашем приложении теоремы 7.5), см. в работе Хефдинга и Роббинса [1, 1948].

ГЛАВА VI

§ 1

О цепях Маркова с непрерывным параметром см. работы Колмогорова 13, 1931], Крылова и Боголюбова [1, 1936], Деблина [4, 1940] и Дуба [7, 1942; 8, 1945]. Аналитический подход к этому вопросу с точки зрения теории полугрупп изложен в кнпге Хилла [1, 1948]. Теорема 1.1 принадлежит Деблпну [4, 1940]. Теоремы 1.2, 1.3 и 1.4 содержатся в много более общих результатах Деблина [3, 1939]. (См. также ниже § 2.)

§ 2

Поспишил [l, 1935-36] и Феллер [2, 1936] изучали марковские процессы, рассмотренные в § 2, и получили теоремы существования и единственности в случае ограниченной функции в (2.2). Их метод был чисто аналитическим, и рассматриваемая задача изучалась ими как задача о решении интегрального уравнения Чепмена-Колмогорова. Деблин [3, 1939] рассмотрел эту задачу вероятностным методом при помощи анализа марковского процесса в предположениях, достаточно сильных для того, чтобы обеспечить ступенчатость почти всех выборочных функций. Феллер [5, 1940], изучая, подобно Поспишилу, эту задачу аналитическим методом, ослабил предположения Поспишила и Деблина, а также предположения своей первой работы. Все эти авторы предполагали, явно или неявно, что у рассматриваемых процессов почти все выборочные функции являются ступенчатыми. В частном случае цепей Маркова Дуб [8, 1945] показал, что это предположение может быть опущено. Изложение в § 2 следует в основных чертах этой последней работе, но здесь оно несколько обобщено и содержит результаты Поспишила, Деблина и Феллера (если отвлечься от того обстоятельства, что указанные авторы не предполагали процесс однородным по времени). Леви [8, 1951] дал подробный аиализ различных возможных типов выборочных функций цепи Маркова, включающий случаи, когда точки разрыва этих функций не образуют вполне упорядоченного множества на оси

§ 3

Рассмотренные в этом параграфе процессы впервые были систематически изучены Колмогоровым [3, 1931], установившим, что вероятности перехода здесь удовлетворяют уравнениям в частных производных (3.4) и (3.4). Феллер [2, 1936] доказал теоремы существования и единственности для решений этих уравнений. ] показал, что соответствующие процессы могут быть построены при помощи решения стохастических дифференциальных уравнений. Результаты Ито изложены в 5 3 с некоторыми изменениями, ставшими возможными благодаря использованию других результатов, содержащихся в настоящей книге. Форте [1, 1943] использовал результаты Феллера для анализа свойств непрерывности и родственных им свойств выборочных функции рассматриваемых процессов. Колмогоров, Феллер и Ито в указанных выше работах рассматривали также более общие вероятностные процессы, получаемые при комбинировании процессов, изученных в §§ 2 и 3.

Рассмотрение решений дифференциальных уравнений (3.4) и (3.4) как пределов вероятностей перехода, соответствующих суммам зависимых случайных величин, сводящееся к изучению обобщений центральной предельной теоремы некоторого специального типа, ем., например, у Бернштейиа [2, 1938] и Хинчииа [1, 1933].

Глава VII

§ 1

Мартингалы изучались многими авторами, работы которых будут указаны ниже. См., в частности, Леви [5, 1937], Билль [1, 1939], Дуб [5, 1940]. Полумартингалы вводятся здесь впервые.

Напомним, что случайные величины семейства называются равиомерио интегрируемыми, если равномерно по

Необходимое и достаточное условие равномерной интегрируемости состоит в том, чтобы было ограничено по и чтобы при равномерно по выполнялось предельное соотношение

Для равномерной интегрируемости достаточно, чтобы при некотором величина была ограничена по Если некоторая последовательность неотрицательных случайных величин, сходящихся с вероятностью 1 к величине х, и если математические ожидания этих величин сходятся к конечному пределу с, то (в силу леммы Фату). Равенство имеет здесь место тогда и только тогда, когда величины равномерно интегрируемы.

§ 2

Теоремы 2.1 и 2.2 являются новыми. Теорема 2.3 является усилением одной теоремы Халмоша [1, 1939].

§ 3

Теорема 3.1 в применении к мартингалам была получена Дубом [5, 1940].

Теорема о том. что любой процесс, являющийся мартингалом при обоих упорядочениях множества значений параметра, обладает тем свойством, что любых значениях параметра

является иовой. Приведенное в тексте доказательство принадлежит Кинни и Снеллу.

Теорема 3.2 для случая мартингалов [в этом случае соотношение (3.4 можно получить, применяя (3.4) к процессу была использована впервые Левл и Биллем.

Теорема 3 3 для мартингалов была установлена Дубом [13, 1951]. Тот факт, что теорема верна также и для иолумартингалов, принадлежит Снеллу. Ему же принадлежит приведенное в тексте доказательство.

Теорема 3.4 является новой.

§ 4

Содержащиеся в этом параграфе теоремы о сходимости мартингалов взяты в основном из работы Дуба [5, 1940]. Они дополнены некоторыми вспомогательными результатами. Различные частные случаи были найдены до этого другими авторами. Подробные указания на этот счет см. ниже. Теоремы о полумартингалах являются новыми (однако см. ниже обсуждение работ Андерсена и Иессена, которые получили несколько более слабые результаты в другой формулировке).

Пункт V теоремы 4.1 был получен Леви [5, 1937, теорема 68] при условиях регулярности величин слегка отличающихся от (4.2).

Следствие 2 к теореме 4.1 принадлежит Леви [5, 1937, следствие 68].

Второе из предельных равенств (4.13) в следствии 1 к теореме 4.3 принадлежит, по существу, Леви [4, 1935; 5, 1937, теорема 41]. Леви получил этот результат в несколько иной формулировке. А именно, в качестве Леви рассматривал лишь случайные величины, являющиеся характеристическими функциями точечных множеств, так что вместо условных математических ожиданий у него были условные вероятности.

Иессея [1, 1934) доказал утверждение, сводящееся, по существу, к следствию 1 из теоремы 4.3 в случае, когда величины независимы и каждая из них равномерно распределена на интервале [0, 1] (этот результат приводится в § 7).

Следующие замечания делаются для того, чтобы разъяснить связь между теоремами Андерсена и Иессена [1, 1946; 3, 1948] и теоремами о сходимости мартингалов из § 4. Пусть -мартингал и пусть -вполне аддитивная функция на задаваемая при помощи соотношения

Тогда при

Пусть — борелевское поле -множеств, порожденное полем Если существует случайная величина такая, что процесс является мартингалом (это будет верно, например, если величины равномерно интегрируемы), то, положив в найдем, что это соотношение определяет вполне аддитивную абсолютно непрерывную функцию на В этом случае функция получается из сокращением ее области определения с до есть плотность функции относительно данной вепоятностиой меры (в качестве области определения которой теперь также берется Заменим теперь предположение о существовании величины х, обладающей указанными выше свойствами, предположением о неотрицательности величин Тогда в силу теоремы 4.1 предел существует и конечен с вероятностью 1, и мы можем определить как этот предел. Заметим, что процесс уже не обязан теперь быть мартингалом, но в силу леммы всегда

так что процесс является полумартингалом. Если то не зависит от при достаточно больших положим

Функция множества определенная на поле как это будет показано в приводимом ниже примере, не обязана быть вполне аддптпвцой. Условие ее вполне аддитивности является немного более слабым условием, чем использованное выше условие равномерной интегрируемости величин В § 8 был дан пример мартингала для которого пространством является иптервал [0, 1] и который обладает следующими свойствами:

Основной вероятностной мерой является здесь мора Лебега. Если мы выбросим из 2 точку то окажется, что гсюду на 3, Определим как совокупность конечных сумм интервалов

с тем исключением, что при точка принадлежит такому интервалу, а при точка считается не входящей в этот интервал. Если есть второй из указанных только что интервалов, то

С другой стороны,

и отсюда следует, что функция не является вполне аддитивной, так как иначе мы имели бы

Обратно, пусть некоторое абстрактное пространство, - монотонная последовательность борелевских полей -множеств и борелевское поле -множеств, порожденное полем Пусть, далее, вероятностная мера на множествах из вполне аддптпвная, абсолютпо непрерывная (относительно функция на и (мера -функция (мера область определения которой сокрэщрна до Пусть плотность относительно Андерсен и Иессен [1, 1946] показали, что с вероятностью 1. Так как в наших предположениях

то с вероятностью 1

Таким образом, результат Андерсена — Иессена оказывается частным случаем теоремы 4.3, согласно которой с вероятностью 1

Андерсен и Иессен доказали также существование предела в предположении, что каждая из функций абсолютно непрерывна и что функция вполне аддитивна (но не обязательно абсолютно непрерывна). Этот продел оказывается в таком случае

плотностью абсолютно непрерывной компоненты функции В этом случае

так что процесс является мартингалом. Далее, если К — это вариация функции вариация функции то

так что существование предела х является следствием теоремы 4.1. В более поздней работе [3, 1945] Андерсен и Иессен, отказавшись от предположения об абсолютной непрерывности предположили только, что функция вполне аддитивна. Они определили как плотность абсолютно непрерывной компоненты функции и показали, что в этом случае существует и конечен с вероятностью 1. Для того чтобы включить этот случай в рамки теории мартпигалов, предположим, что функция неотрицательна (в противном случае можно представить как разность двух неотрицательных функций). Предположим, что и что Тогда если сингулярная компонента функции обращается в на А, то

Так как сингулярное множество функции от имеет вероятность 0, то его учет не изменит приведенных выше интегралов, и мы имеем уже без всяких ограничений на А, что

т. е. что с вероятностью 1

Другими словами, последовательность является полумартингалом, образованным неотрицательными случайными величинами. Мы можем поэтому, использовав теорему заключить, что существует и конечен с вероятностью 1. Мы не станем рассматривать здесь вопрос об отождествлении величины с плотностью абсолютно непрерывной компоненты функции см. § 8, где делается анаиогичная вещь. Исследование производных, проведенное в § 8, является частным случаем работы Андерсена и Нессена, так как в этом случае можно задать величину Мы рассмотрели в § 8 производные относительно разбиений, имея в виду те приложения этих результатов, которые имеются в настоящей книге, а также с целью избежать излишней абстрактности в этих примерах применения теории мартингалов. Ситуация, изученная Андерсеном и Иессеном, является немного менее общей, чем ситуация, рассмотренная в § 4, так как Андерсен и Нессен заранее предполагали существование вполне аддитивной функции в то время как в теории мартингалов, как было показано выше, можно изучать также и те случал, когда мартингал не строится при помощи такой функции множества. С другой стороны, Андерсен и Иессен провели более полное отождествление предела с плотностью абсолютно непрерывной компоненты функции получив тем самым явное представление для сингулярного множества функции

Мы не будем рассматривать здесь изученный Андерсеном и Иессеном случай, когда последовательность полей является монотонно неубывающей. Для этого случая Андерсен и Иессен также получили результаты, представляющие собой, по существу, изложение на другом языке соответствующих теорем о сходимости из § 4.

§ 5

Вывод закона нуля пли едпнпцыпз теории мартингалов принадлежит Леви [5, 1937].

Указанное здесь применение теории мартингалов для доказательства обычных теорем о сходимости бесконечных рядов из взаимно независимых случайных слагаемых, повидпмому, является новым.

Теорему 5.1 (и некоторые другие результаты из той же области, доказываемые методом, отлнчным от нашего) можно найти в работах и Зигмунда [1, 1937) и Марцинкевича [1, 1937]. Метод, использовашшп в тексте, взят из работы Дуба [6,1940].

§ 6

Приложение теория мартингалов к выводу усиленного закона больших чисел для взаимно независимых случайных величин с одинаковыми функциями распределения взято работы Дуба [11, 1949].

§ 7

Теоремы этого параграфа принадлежат Иессену [1, 1934].

§ 8

Теоремы этого параграфа легко выводятся из общих теорем о производных функций от множества, принадлежащих Посселю [1, 1935]. Они могут быть получены также из результатов Андерсена и Иессена [1, 1946]. См. обсуждение работы Аидерсеиа-Иессена в замечаниях к § 4.

§ 9

Цель § 9 состоит в основном в том, чтобы разъяснить смысл отношения правдоподобия. См. также Дуб [13, 1951]. Более глубокое исследование теории статистических оценок с точки зрения теории мартингалов содержится в работе Дуоа [11, 1949].

Состоятельность метода максимума правдоподобия, т. е. асимптотическая правильность оценки максимального правдоподобия для параметра распределения по конечной выборке, была доказана Вальдом Более раниее доказательство Дуба [1,1934] связано со слишком восторженным применением усиленного закона больших чисел; однако, как это было указано Дубом в примечании к работе Вальда, имеющаяся в работе Дуба [1, 1934] ошибка легко исправима, и результат оказывается тем же, какой дает метод Вальда.

§ 10

Основная теорема метода последовательного анализа принадлежит Вальду II, 1944]. Другой подход к этой теореме с точки зрения теории мартингалов см. у Блекуэлла и Гиршика [1, 1946].

§ 11

Теоремы этого параграфа являются новыми, за указанными ниже исключениями. Некоторые из этих теорем являются, однако, тривиальныи обобщением соответствующих теорем для случая дискретного параметра.

Дуб [5, 1940] доказал, что почти все выборочные функции сепарабельного мартингала, областью значений параметра которого является интервал, имеют во всех точках пределы слева. В работе Дуба [13, 1951] дается усиление этого результата, приводящее случае мартингала к теореме 11.5.

Изложение усиленного закона больших чисел для однородных процессов с независимыми приращениями взято из работы Дуба [6, 1940]. Более точиые результаты {включающие верхние предельные функции для в (11.3) при были получены Гиедеико [2, 1943].

Теорема 11.9 с указаниями на метод доказательства (отличный от нашего) была дана Леви [7, 1948, стр. 78]. Утверждение Леви является несколько более общим, однако оно легко сводится к теореме 11.9.

Относительио центральиой предельной теоремы для мартингалов см. Леви [3, 1935; 5, 1937].

§ 12

Дальнейшие приложения теории мартингалов к изучению свойств непрерывности выборочных фуниций марковских процессов см. в работах Дуба [7, 1942; 13, 1951].

ГЛАВА VIII

§ 1

Изучение процессов с независимыми приращениями было начат о Финетти [1, 1929]. «Подробное рассмотрение этих процессов см. в книгах Леви [5, 1937; 7, 1948].

§ 2

Первое строгое исследование процесса брауновского движения принадлежит Винеру II, 1923); однако значительно раньше его Башелье [1, 1900] уже открыл многие свойства этого процесса. См. книги Леви [5, 1937; 7, 1948], в которых содержится подробное исследование процесса брауновского движения и приведены дальнейшие ссылки. Теорема принадлежит Башелье [1, 1900]; теорема -Винеру [1, 1923], теорема -Лева

§ 3

См. работу Эйнштейна [1, 1906] по теории брауновского движения, а также обвор Барнса и Силвермена [1, 1934], где обсуждается роль этого движения в теория физических измерений.

§§ 4-5

Приложение пуассоиовского процесса, изложенное в § 5, является новым.

§§ 6-7

Центрирование общего процесса с независимыми приращениями принадлежит Леви 12, 1934]; в § 6 дается изложение идеи этого автора, несколько более детальное, чем то, которое было дано в его работе.

Теорема 7.1 принадлежит Леви [2, 1934; 5, 1937], доказавшему также, что условие вытекает из даже при наличии фиксированных точек разрыва.

Теорема 7.2 принадлежит Леви [2, 1934]. См. книгу Леви [5, 1937], где содержится подробное обсуждение значения принадлежащей Леви формулы (7.2) в терминах свойств выборочных функций. Ито [1, 1942] представил общий процесс с независимыми прираще ниями в виде обобщенного интеграла особого типа от пуассоновских процессов, получив при этом указанную формулу весьма изящным путем.

ГЛАВА IX

§§ 1-2

Стохастические интегралы того типа, какой рассматривается в § 2, впервые были рассмотрены Винером; в неявной форме они были введены в работе Винера [1, 1923]. В настоящее время такие иитегралы являются общепринятыми в рассмотрениях, касающихся гильбертова пространства, где они появляются в несколько иной форме. Так, например, если при любом действительном есть оператор проектирования на замкнутое линейное многообразие в пространстве измеримых функций с интегрируемыми квадратом и при (например, если наше семейство операторов проектирования является разложением единицы; см. Стоун [2, 1932]), то для любого элемента а: пространства семейство будет представлять собой вероятностный процесс (если отождествить меру, отвосительио которой берутся интегралы, с вероятностной мерой) с ортогональными приращениями, причем интегралы вида

вдесь будут совпадать с интегралами, являющимися обычным аппаратом в теории гильбертовых пространств. См. по этому поводу ириложзние к § 3 гл. X, а также книгу Стоуна [2, 1932].

Более общий подход к стохастическим интегралам см. в работе Бохнера [2, 1942].

§ 3

Этот параграф является переработкой части статьи Хинчина [5, 1938], выбранной для этой пзли в связи с ее большой важностью. См. также монографию Блан-Лапьера [1, 1945], содержащую дальнейшие результаты в том же направлении.

§ 5

Стохастический интеграл в § 5 являзтся обобщением интеграла Ито [2, 1944], раеаиатриаавщзго случаи, когда процесс является процессом брауновского

движения. Использование теории мартингалов делает возможны построение замкнутой системы таких стохастических интегралов, так что интеграл с переменным верхним пределом определяет теперь процесс того же типа, что и процесс, входящий в интеграл под знаком дифференциала.

Глава X

§ 1

Изложение сохраняющих меру преобразований и процессов, стационарных в широком смысле, дается здесь в форме, более общей, чем обычно, поскольку представлялось, желательным сделать очевидным тот факт, что теория указанных преобразований в точности совпадает с теорией стационарных вероятностных процессов; между тем если; бы мы изложили эти две теории на разных уровнях общности, то нам пришлось бы ограничиться лишь замечанием об их формальном подобии друг другу. Основы излагаемого материала см. у Хопфа [1, 1937] и Халмоша (2, 1949]. Общее рассмотрение (на языке теории вероятностей) стационарных в широком смысле вероятностных процессов см. в работах Волда [1, 1938], Дуба [12, 1949], Крамера [2, 1940], Карунена. [1, 1946; 2, 1947], Леви [7, 1948], Лоэва [1, 1945; 4, 1946], Маруяма [1, 1949], Слуцкого [3, 1938], Хинчнна [2, 1934]. В дальнейших исторических замечаниях мы не будем различать случаи процессов с дискретным и с непрерывным параметром действительный в комплексный случаи, поскольку переход от одного к другому делается без всякого труда.

Теорема 1.1 принадлежит Дубу [4, 1938].

§ 2

Эргодическая теорема (теорема 2.1) принадлежит Биркгофу [1, 1931]. Приведенное здесь доказательство заимствовано (с незначительными изменениями) у Рисса [1, 1945].

§§ 3-4

Если -стационарный в широком смысле процесс, то, как было показано в § 1, можно положить где унитарный оператор; обратно, если оператор унитарен, то последняя формула всегда определяет стационарный в широком смысле процесс (под унитарным преобразованием мы здесь понимаем преобразование, действующее в каком-либо пространстве фуикцпй с интегрируемым по некоторой мере квадратом модуля, а не в произвольном абстрактном гильбертовом пространстве). Нейманом и Винтнером было доказано, что для всякого унитарного оператора в пространстве можно сопоставить любому X из интервала замкнутое линейное многообразие так, чтобы

а) было многообразием, содержащим только случайные величины, с вероятностью 1 обращающиеся в нуль, а

и что если обозначить через оператор проектирования на в пространстве то для любых х,

Из свойств операторов проектирования вытекает, что процесс является процессом с ортогопальными приращениями и что действительная и монотонно неубывающая функция от в таком случае равенство (1) при становится одним из вариантов представления (3.2) корреляционной функции Равенство (1) можно также записать в некоторых других формах, используя другие гипы интегралов, рассматриваемые в теории Гильбертовых пространств; например,

можно написать

или

В форме представление -Винтнера обращается в спектральное представление самих стационарных в широком смысле вероятностных процессов, составляющее содержание теоремы 4.1. Подчеркнем еще раз, что теоретико-вероятностные предложения не являются более и ни менее общими, чем соответствующие предложения теории гильбертовых пространств (если отвлечься от малосущественного обстоятельства, заключающегося в том, что в теории вероятностей мера всего пространства должна равняться единице). На самом деле оба эти круга вопросов в точности совпадают; разница здесь только в используемом языке и в том, на чем делается ударение. Подробности, касающиеся выводов на языке теории гильбертовых пространств, читатель может яайти, например, в книге Стоуна [2,1932]. Доказательство теоремы 4.1, приведенное в тексте, общему методу Крамера [4, 1951].

Основные свойства стационарных в широком смысле вероятностных процессов были указаны (для случая непрерывного параметра) Хинчиным [2, 1934] еще тогда, когда не было ясно, что эта теория является лишь новым аспектом теории однопараметрических групп унитарных операторов. Волд [1, 1938] перенес результаты Хинчпна на процессы с дискретным параметром. Важнойщая часть работы Хинчина состоит в доказательстве (для случая непрерывного параметра) теоремы 3.1 и в использовании затем этого результата для вывода представления корреляционной функции в виде интеграла Фурье-Стильтьеса (т. е. для получения аналога теоремы 3.2 для случая непрерывного параметра; см. 5 3 и § 4 гл. XI). Спектральное представление самого стационарного процесса (теорема 4.1) было впервые опубликовано Крамером [2, 1942]; независимо от него этот результат был найден примерно в то же время также Лоэвом, См. по этому поводу Леви [7, 1948, стр. 123, 298]. Заметим, однако, что русская школа математиков к этому времени уже знала о том, что теория стационарных процессов совпадает с теорией групп операторов; так, например, Обухов явно использовал спектральное представление, даваемое теоремой 4.1, ссылаясь в качестве доказательства на посвященные теории гильбертовых пространств работы Колмогорова (которые будут указаны ниже в связи с гл. XI), содержащие также указания на теоретико-вероятностную интерпретацию полученных там результатов.

Многие теоремы теории стационарных в широком смысле процессов (в частности, теорема о представлении корреляционной функции в виде интеграла тесно связаны с соответствующими теоремами гармонического ааалпза индивидуальных функций, относительно которых см. работу Винера [2, 1930].

Теорема 3.2 принадлежит Герглоцу [1, 1911].

§ 6

Закон больших чисел стационарных в широком смысле вероятностных процессов (теорема 6.1), называемый также эргодической теоремой в пространстве Нейману [3, 1932], использовавшему язык теории операторов в гильбертовом пространстве, и Хинчину [2, 1934], рассуждавшему на языке теорпп вероятностей (в обоих случаях рассматривались лишь процессы с непрерывным параметром). Для того чтобы достичь полного параллелизма между теоремами, относящимися к процессам, стационарным в узком и в широком смысле, следовало бы еще доказать, что если изометрический оператор, то

существует для всех х и является проекцией х на многообразие функций, инвариантных относительно Эта теорема, однако, была нами опущена, так как ее доказательство увело бы нас слишком далеко в сторону.

Теорзма случая непрзрывяого параметра) принадлежит Лоэву [1, 1945] и была позже независимо иайдеяа и Браром [1, 1946].

§ 7

Теорема 7.1 является новой; см., впрочем, примыкающие сюда работы Грепандера [1, 19511 и Гренандера и Розенблата [1, 1952]. Отметим еще, что Маруяма [1, 1949]

доказал, что действительный стационарный гауссовский процесс с нулевым средний значением тогда и только тогда является метрически транзитивным, когда его спектральиа» функция непрерывна.

§§ 8-10

Материал этих параграфов был найден более или менее независимо многими различными авторами. См. ссылки, указаипые в связи с предыдущими параграфами этой, главы.

ГЛАВА XI

(См. также аамечаиия к соответствующим параграфам гл.

§§ 1-4 Аналогом теоремы Неймана и Винтнера об общем виде совокупности итераций: унитарного оператора для случая непрерывного параметра является следующее предложение. Пусть семейство унитарных операторов в пространстве такое, что Тогда (в предположении, что выполняется дополнительное условие непрерывности, которое будет указано ниже) каждому действительному числу X можно сопоставить замкнутое линейное многообразие так, что»

а) совпадает с многообразием, содержащим только случайные величины, х с вероятностью 1 обращающиеся в нуль, всюду плотно в

и что если обозначить через оператор проектирования на в пространстве то любых х,

или, в иной записи,

Равенство (1) при дает нам представление (3.2) корреляционной функции в виде интеграла Фурье — Стильтьеса, а (II) совпадает со спектральным представлением стационарных в широком смысле вероятностных процессов с непрерывным параметром. Указанный здесь результат теории групп унитарных операторов был доказав Стоуном; [1, 1930] в предположении, что при любых х, у является непрерывной функцией от Нейман [2, 1932] доказал, что в случае сепарабельности пространства непрерывность этой функция вытекает из ее измеримости по при всех х, у. Теорема 3.2 принадлежит Бохнеру ].

§ 8

То обстоятельство, что если -процесс брауновского движения, то его производная ивляется (фиктивным) стационарным процессом с постоянной спектральной плотностью, было впервые указано Винером [см. 3, 1930, а также более ранние работы].

§ 9

Французская школа математиков называет рассмотренные в этом параграфе линейные операторы фильтрами.

§ 10

Результаты этого параграфа, за исключением той его части, которая посвящена стохастическим интегралам, принадлежат Колмогорову [9, 1940; 10, 1940]. См. также работу Неймана и Шенберга [1, 1941].

ГЛАВА XII

§§ 1-5

Сеге [1, 1920] доказал, что для любой монотонно неубывающей функции определенной на интервале имеет место равенство

(с очевидной оговоркой о смысле правой части в случае, когда фигурирующий там, интеграл равен ). Этот результат Сеге рассматривал как один из результатов теории полиномиальной аппроксимации; приведенное им доказательство годится для любого но предполагает, что функция абсолютно непрерывна. Волд [1, 1938] доказал основную теорему о разложении стационарных процессов (теорема 4.2). Колмогоров [8, 1939; 11, 1941; 12, 1941] дал аналитический вывод разложения Волда и получил отсюда теоремы 4.1 и 4.3. Результаты Колмогорова содержат, в частности, обобщение теоремы Сеге (для на случай произвольной монотонной функции Предел, фигурирующий в теореме Сеге, совпадает со средним квадратом ошибки прогноза на один шаг вперед (см. общее обсуждение теории прогнозирования в § 1). Винер [3, 1942] независимо получил результаты Колмогорова для случая абсолютно непрерывной функции и указал также решение соответствующей задачи о прогнозе для случая непрерывного-параметра; особое внимание им было уделено тому, чтобы представить решение задача в явной форме, удобной для практического использования в электро- и радиотехнике. Крейи [1, 1944; 2, 1945; 3, 1945] рассмотрел в более общей форме задачи о прогнозировании для дискретного и непрерывного параметра; в его исследованиях функция все время предполагалась произвольной. Ханнер [1, 1949] дал для задачи о прогнозировании для случая непрерывного параметра более непосредственное теоретико-вероятностное изложение, чем имевшееся в работах его предшественников (не использующее теоремы о спектральном представлении); на этом пути он впервые получил аналог теоремы о разложении Волда для случая непрерывного параметра. Карунен [3, 1950] получил тот же результат, исходя из теоремы о спектральном представлении. Ахиезер [1, 1947] рассмотрел задачу Сеге для случая произвольной функции и любого доказал, что соответствующий предел будет равен нулю тогда и только тогда, когда интеграл от логарифма обращается в им же был доказан и соответствующий результат для случая непрерывного параметра. Лоэв ([3, 1946] и дополнение Лоэва к книге Леви [7, 1948]) получил аналог тьоремы о разложении Волда для случая нестационарных процессов.

ДОПОЛНЕНИЕ

Читатель, интересующийся общими основами теории меры и доказательствами, теорем, опущенными в дополнении, может обратиться к книге Халмоша [3, 1950].

§ 2

(Примеры 2.3, 2.6.) Тот факт, что мера, заданная на конечномерных борелевских множествах, может быть расширена до бесконечномерной меры, принадлежит Даниелю [1, 1918—1919; 2, 1919—1920] и Колмогорову |5, 1933]. Доказательство того, что эта теорема применима даже в том случае, когда пространства-сомножители являются абстрактными пространствами, было опубликовано Дубом [4, 1938]. Однако этот последний результат оказался, вообще говоря, неверным; противоречащий пример см. в работе Андерсена и Иессена [2, 1948] или в книге Халмоша [3, 1950, § 49]. Первое доказательство того, что указанный результат верен, по крайней мере, в случае независимых пространств-сомножителей, было дано Неймаиом [4, 1935] (см. также Андерсеи и Иессен [2, 1948]). Доказательство того, что этот результат будет справедлив, если только существуют условные распределения вероятностей (т. е. при гипотезе, используемой в тексте), принадлежит Ионеску Тульчи [1, 1949].