8. Характеристические функции и нормальное распределение

Свертки приводят естественным образом к теории «нормального распределения» вероятностей, последнего из трет классический распределений. В отличие от распределения Бернулли и Пуассона оно непрерывно и пропорционально Его обычно называют распределением Гаусса. Оно главенствует над всеми остальными, так как чаще всех встречается в физических задачах. Его универсальный характер следует из того, что сумма большого числа независимых случайных величин почти всегда удовлетворяет нормальному закону. Дело в том, что многократная свертка удивительно широких условиях приближается к функции вида Это утверждение составляет содержание так называемой «центральной предельной теоремы». Строгое доказательство этой теоремы здесь не будет дано из-за трудности точно сформулировать

условия, при которых она справедлива, но следует изложить суть доказательства, так как подобные математические приемы имеют и другие применения в радиоэлектронике.

Сначала мы рассмотрим некоторую функцию, которая для непрерывного распределения служит тем же, чем для дискретного распределения служит производящая функция. По аналогии, если есть случайная величина и ее плотность вероятности, мы могли бы ввести производящую функцию

Однако этот интеграл неудобен. Из соображений математического удобства вместо него выбирают функцию

Она является преобразованной по Фурье от функции (или ее Фурье-сопряженной); если бы была колебанием (функцией времени), то была бы его частотным спектром. Согласно теореме Фурье может быть выражена через следующим образом:

Однако в этой главе не есть колебание. В радиотехнических применениях теории вероятности будет обычно величиной напряжения или тока. В теории вероятности называется характеристической функцией для и служит для той же цели, что и производящая функция. Мы имеем, например,

Можно получить отсюда равенство, аналогичное (16), если вместо подставить Таким образом,

и

Если свертываются две плотности, то их характеристические функции умножаются (так же, как и производящие функции). Для полноты ниже дается доказательство.

Пусть две плотности распределений и пусть их Фурье-сопряженные — Тогда согласно (62)

Обозначив сумму 6 и через х и заменив на получим

Сравнивая это выражение с равенством (62), мы видим, что является характеристической функцией для

Для иллюстрации мы можем проверить выражение (59). Характеристическая функция для дельта-функции получается заменой на 8 в уравнении (62). Это сразу дает так как подинтегральное выражение обращается в нуль всюду, кроме и результат очевиден. Читатель, может быть, заметит, что при подстановке в уравнение (63) не получается снова дельта-функция; действительно, интеграл расходится, но эта трудность может быть обойдена, если рассматривать дельта-функцию как предел выражения (57).

При выводе нормального закона задача сводится к образованию произведения большого числа характеристических функций, что соответствует суммированию большого числа независимых случайных величин. Мы предположим для простоты, что каждая случайная составляющая имеет среднее значение, равное нулю, и сначала мы будем считать, что моменты второго порядка всех компонент равны. Так как среднее значение равно нулю, момент второго порядка в соответствии с (14) равен дисперсии. Обозначим ее и для одной составляющей и пусть складывается составляющих; это даст в результате дисперсию, равную Теперь рассмотрим характеристическую функцию для какой-либо составляющей. Для значение как следует из (62), равно единице. Можно разложить вблизи в степенной ряд, используя (65) и (66). Таким образом,

Так как по условию все составляющие имеют одинаковую дисперсию, это разложение, если оно пригодно, одинаково пригодно для всех составляющих. Если двух членов разложения достаточно, окончательный ответ будет получен путем возведения в степень выражения, заключенного в скобки. Это дает

и, если достаточно велико, выражение близко к своему пределу

Однако остается открытым вопрос о допустимости ограничения двумя членами разложения особенно потому, что следующим шагом является подстановка вместо в интеграл Фурье (63). Интеграл охватывает все значения тогда как разложение может

казаться пригодным лишь для малых При известных предположениях ограничение двумя членами может быть оправдано, но мы не будем входить в подробное рассмотрение этого вопроса. Главный пункт доказательства заключается в том, что хотя не может быть хорошо представлено двумя членами разложения, ошибка становится гораздо меньше, если возводится в высокую степень. Возведение в высокую степень сильно преувеличивает размеры изменений пик высоты 1 при остается равным единице, в то время как меньшие значения уменьшаются до сравнительно незначительной величины. Таким образом, существенны лишь те значения для которых равно или очень близко к единице. То, что нигде не превосходит единицу, можно легко увидеть, оценив интеграл (62), который можно рассматривать как радиус-вектор центра тяжести точек, лежащих на окружности в комплексной плоскости и имеющих положительные веса. Мы можем предполагать, что (72) служит хорошим приближением для больших при условии, что меньше единицы для всех значений исключая На практике обычно бывает достаточно, чтобы плотности распределения составляющих были непрерывными функциями с ограниченными моментами второго порядка.

Подставляя выражение (72) вместо в преобразование (63) и интегрируя с помощью обычного приема (путем дополнения аргумента экспоненциальной функции до полного квадрата), получаем

Это и есть нормальное распределение вероятностей.

Мы теперь можем устранить два ограничения, принятые в предыдущем рассуждении. Во-первых, очевидна ненужность требования, чтобы среднее значение каждой случайной составляющей было равно нулю, — это лишь вопрос выбора начала отсчета. Так как смещения аддитивны, результирующее нормальное распределение имеет в общем случае не нулевое среднее значение, равное сумме средних всех составляющих, и мы можем написать вместо в (73). Во-вторых, не является необходимым, чтобы все составляющие имели одинаковые дисперсии, как предполагалось выше. Группы составляющих можно складывать таким образом, чтобы подбирался ряд больших составляющих, которые все имели бы приблизительно равные дисперсии. Затем при образовании суммы этих больших составляющих получается нормальный закон.

Очень важной характерной чертой нормального распределения является его поведение при свертывании. Если свертывается два нормальных распределения, то результат будет также нормальным распределением (это свойство иногда называется "закон воспроизведения"). Предположим, что распределения имеют нулевые средние значения и дисперсии

Тогда в соответствии с (72) их характеристические функции будут

характеристическая функция распределения суммы будет

что, очевидно, соответствует нормальному распределению с дисперсией Если составляющие имеют средние, не равные нулю, то среднее результирующего распределения является суммой средних значений.

Распределение Гаусса имеет большое значение в радиоэлектронике, так как оно описывает поведение случайного шума. Шумовые токи и напряжения флюктуируют во времени, но, оставляя в стороне вопрос о временнбм поведении и отмечая шум в какой-нибудь произвольный момент времени, мы можем почти всегда утверждать, что распределение вероятностей для тока или напряжения является гауссовым с дисперсией, равной средней мощности шума. Говоря точнее, закон Гаусса не всегда имеет место, но обычно бывает справедлив, когда шум образуется, как суперпозиция очень большого числа малых независимых случайных возмущений. Тепловой шум, например, является гауссовым, так как он создается благодаря независимым беспорядочным движениям отдельных электронов, и каждый из них дает небольшую часть наблюдаемого напряжения. Даже если шум не гауссов, как, например, на выходе нелинейного устройства, то он становится гауссовым, если пройдет через линейный фильтр, имеющий достаточно большую временную постоянную. Это относится, например, к дробовому шуму, в случае которого постоянная времени должна быть велика по сравнению со средним значением промежутка времени между попаданием отдельных электронов на анод. Временная постоянная обеспечивает необходимое для получения гауссова распределения условие, заключающееся в том, что в любой момент времени должна существовать суперпозиция большого числа возмущений.