2.1.3. Статистическое усреднение случайных величин
Усреднение играет важную роль для
характеристики результатов эксперимента и случайных величин, определенных на
выборочном пространстве эксперимента. В частности, представляют интерес первый
и второй моменты одной случайной величины и совместные моменты, такие как
корреляция и ковариация между парой случайных величин в многомерном ряде случайных
величин. Также большой интерес представляет характеристическая функция
случайной величины и совместные характеристические функции для многомерного
ряда случайных величин. Этот раздел посвящается определению этих важных
статистических средних.
Сначала мы рассмотрим случайную
величину 
,
характеризуемую ФПВ 
. Математическое ожидание
от определяется
как
, (2.1.61)
где 
означает математическое ожидание
(статистическое усреднение). Это первый момент случайной величины . В общем, 
-й момент
определяется как
. (2.1.62)
Теперь предположим, что мы определяем
случайную величину 
, где 
- некоторая произвольная функция от
случайной величины . Математическое ожидание 
определяется как
. (2.1.63)
В частности, если 
, где 
- математическое
ожидание ,
то
. (2.1.64)
Это математическое ожидание названо
-м центральным
моментом случайной величины , так как это момент, взяты
относительно среднего. Если 
, центральный момент называется дисперсией
случайной величины и обозначается 
. Таким образом,
. (2.1.65)
Этот параметр является мерой
рассеяния случайной величины . Раскрывая выражение 
в интеграле
(2.1.65) и учитывая, что математическое ожидание от константы равно константе,
получим выражение, которое определяет дисперсию через первый и второй моменты:
. (2.1.66)
Для случая двух случайный величин 
и 
с СФПВ 
мы определяем совместный
момент как
. (2.1.67)
и совместный центр момент
как
(2.1.68)
где 
. С точки зрения приложений важное
значение имеет совместный момент и совместный центральный момент, когда 
. Эти совместные
моменты называют корреляцией и ковариацией
случайных величин и
.
При рассмотрении многомерных
случайных величин мы можем определять совместные моменты произвольного порядка.
Однако наиболее полезные для практических приложений моменты – это корреляция и
ковариации между парами случайных величин. Для детализации предположим, что 
, являются
случайными величинами с СФПВ 
. Пусть 
- СФВП случайных величин 
и 
. Тогда корреляция
между и определяется
совместным моментом
, (2.1.69)
а ковариация между и равна
(2.1.70)
Матрица размера 
с элементами 
называется ковариационной
матрицей случайных величин , 
. Мы встретимся с ковариационной
матрицей при обсуждении совместных гауссовских случайных величин в разделе
2.1.4.
Две случайные величины называют некоррелированными,
если 
. В
этом случае их ковариация 
. Заметим, что если и некоррелированы, они не
обязательно статистически независимы.
Говорят, что две случайные величины
ортогональны, если 
. Заметим что это условие имеет место,
когда и не коррелированы и
либо одна, либо обе случайные величины имеют нулевое среднее.
Характеристические функции. Характеристическая функция случайной величины определяется как статистическое
среднее
, (2.1.71)
где переменная 
вещественная, 
. Заметим, что 
можно определить
как преобразование Фурье от ФПВ . Тогда обратное преобразование Фурье
дает
. (2.1.72)
Очень полезное свойство
характеристической функции – ее связь с моментами случайной величины. Заметим,
что первая производная от (2.1.71) по
.
Вычисляя производную при 
, получаем для
первого момента (среднего)
. (2.1.73)
Дифференцирование можно продолжить,
и -я
производная от при
определяет
-й момент:
. (2.1.74)
Таким образом, моменты случайный
величин можно определять через характеристические функции. С другой стороны,
предположим, что характеристическую можно представить рядом Тейлора
относительно точки , т.е.
. (2.1.75)
Используя соотношение (2.1.74) в
(2.1.75), мы получаем выражение для характеристической функции через моменты в
виде
(2.1.76)
Характеристическая функция дает
простой метод для определения ФПВ суммы независимых случайных величин. Чтобы
это проиллюстрировать, предположим, что , , - ряд статистически независимых
случайных величин, и пусть
. (2.1.77)
Задача сводится к нахождению ФПВ от
. Мы
определим ФПВ от ,
найдя сначала её характеристическую функцию, а затем вычислив обратное
преобразование Фурье. Итак,
. (2.1.78)
Так как случайные величины
статистически неизменимы, 
и -мерный интеграл в (2.1.78) сводится к
произведению простых
интегралов, каждый из которых определяет характеристическую функцию одного . Следовательно,
. (2.1.79)
Если помимо статистической
независимости все имеют
одинаковое распределение, тогда все 
идентичны.
Соответственно
. (2.1.80)
Окончательно ФПВ определяется
обратным преобразованием Фурье, как дано в (2.1.72).
Поскольку характеристическая
функция суммы статистически
независимых случайных величин равна произведению характеристических функций
индивидуальных случайных переменных , 
, отсюда следует, что в области
преобразования ФПВ является -кратной сверткой ФПВ от . Обычно -кратную свёртку
выполнить непосредственно более сложно, чем воспользоваться методом
характеристической функции для нахождения распределения ФПВ для , как описано выше.
Если мы имеем дело с -мерными случайными
величинами, необходимо определить -мерные преобразования Фурье от СФПВ. В
частности, если ,
, -
случайные величины с ФПВ 
, -мерная характеристическая
функция определяется как
. (2.1.81)
Специальный интерес представляет
двухмерная характеристическая функция
. (2.1.82)
Заметим, что частные производные от
по 
и 
можно использовать
для получения совместных моментов. Например, легко видеть, что
. (2.1.83)
Моменты более высоких порядков
можно получить аналогичным образом.
