Приложение I. Некоторые понятия теории вероятностей

В этом приложении приводится список основных понятий и положений теории вероятностей, используемых в книге. Подробное изложение см., нанример, в учебниках Папулиса [316] или Чанга [79].

Случайная величина описывает возможные численные результаты экспериментов, которые невозможно предсказать заранее. Вероятность попадания ее численной реализации в некоторый интервал выражается при этом через плотность распределения вероятностей

Если может принимать некоторое значение с ненулевой вероятностью, будем считать, что содержит соответствующую этому значению -функцию. При этом в (1.1) подразумевается интеграл Стилтьеса, однако для нас это не существенно.

Для случайного вектора

определяется соответствующая плотность вероятности (функция из и

Здесь В — подмножество в означает вероятность события А. Функцию называют также совместной плотностью вероятности для Математическое ожидание или среднее значение случайной величины определяется как

а матрица ковариации

Говорят, что случайный вектор имеет гауссово или нормальное распределение, если

Тогда среднее значение равно а матрица ковариации - Это записывается следующим образом:

Для двух случайных величин у и z можно определить совместную плотность вероятности как Вероятности, связанные только с реализациями у, игнорируя z, задаются при этом плотностью вероятности для

Поскольку

находим, что

Теперь можно определить условную плотность распределения вероятностей z при данном у как

Тогда имеем

Здесь условная вероятность события при данном событии В. Интуитивно ясно, что можно рассматривать (1.9) как вероятность того, что z примет значение между а и если уже известно, что реализация у была равна Отметим, что формальные определения этих понятий требуют большего внимания, и по этому поводу читателю следует обратиться к учебнику но теории вероятностей. Выражение может рассматриваться, как вариант формулы Байеса:

Две случайные величины у и независимы, если

Тогда

В этой книге иногда возникают комплексно-значные случайные величины. Если может принимать комплексное значение, матрица ковариаций определяется как

где верхняя черта означает комплексное сопряжение. Заметим, что это понятие не дает полной информации о ковариации между действительной и мнимой частями Для комплексно-значного случайного вектора обозначение

будет означать, что

1. Действительная и мнимая части совместно нормальны.

2. (комплексное число).

3. (определяется как в (1.13)).

4. независимы.

Пусть последовательность случайных векторов (случайный процесс в дискретном времени). Тогда ее реализацией будет последовательность векторов. Допустим, что событие, состоящее в сходимости этой последовательности к пределу у (возможно зависящему от реализации) при стремящемся к бесконечности, имеет вероятность 1. Тогда говорят, что сходится к у (случайный ветор) с вероятностью (или почти наверное, п.н., или

Часто в наших приложениях у фактически не будет зависеть от реализации.

Если соответствующая последовательность плотностей вероятности сходится (слабо) к плотности вероятности

говорим, что сходится по распределению к плотности распределения вероятностей В частных случаях, когда является гауссовой плотностью (1.5), говорим, что асимптотически нормальна со средним значением и матрицей ковариации и обозначаем это

Полезные теоремы, предназначенные для доказательства результатов типа (1.17), представлены в задаче 11.3 и в леммах Они известны как центральные предельные теоремы (ЦПТ). Для доказательства сходимости с вероятностью 1 хорошим инструментом является лемма Бореля - Кантелли:

(доказательство см. в [78]).

Для оценки вероятностей такого рода полезно неравенство Чебышева: