Глава 2. ВЕРОЯТНОСТЬ

Разделами математики, используемыми при изучении случайных сигналов и шума, являются теория вероятностей и статистика. Главы 2, 3 и 4 имеют своей целью изложение соответствующих разделов теории вероятностей, достаточно подробное для того, чтобы читатель, не знакомый с этим предметом, получил в свои руки инструмент, необходимый для изучения основной части книги. Материал излагается без каких-либо претензий на математическую строгость. Тот, кто пожелает посвятить некоторое время тщательному изучению математической теории вероятностей, может воспользоваться рядом превосходных руководств, в особенности книгами Крамера (I), Феллера (I) и Лоэва (I).

2.1. Введение

Один из способов подойти к понятию вероятности связан с явлением статистической устойчивости. В природе часто встречаются ситуации, при которых будущие события могут быть предсказаны на основе накопленного в прошлом опыта только грубо или только в среднем, но не точно. Мы говорим в таких случаях, что событие является случайным. Наша неспособность дать точные предсказания может быть обусловлена тем, что 1) мы не знаем всех причинных сил, участвующих в рассматриваемом явлении; 2) мы не имеем достаточных сведений об условиях задачи; 3) действующие силы столь сложны, что вычислить суммарный эффект их действия невозможно, или, быть может, 4) имеется неопределенность в основе самого физического явления. Каковы бы ни были причины случайности, в очень многих ситуациях, приводящих к случайным событиям, при многократном повторении этих ситуаций можно наблюдать вполне определенные средние результаты. Так, например, общеизвестно, что при многократном подбрасывании монеты она приблизительно в половине случаев падает гербом кверху. Тенденция, в силу которой при увеличении числа одинаковых опытов результаты их все более сходятся к некоторому общему среднему, называется статистической устойчивостью. Нужно, однако, подчеркнуть,

что наша уверенность в существовании статистической устойчивости является чисто индуктивной и не подлежит математическому доказательству.

Желая придать изучению случайных событий математическую форму, мы, во-первых, исходим из предположения, что существуют определенные системы, обладающие статистической устойчивостью; во-вторых, мы строим математическую модель (т. е. систему аксиом и вытекающих из них теорем), описывающую свойства статистической устойчивости, и, наконец, применяем полученные с помощью математической дедукции выводы к реальным системам. Наиболее широко распространенная и употребляемая для этих целей математическая модель называется математической теорией вероятностей и основывается на аксиомах, сформулированных Колмогоровым (I, гл. 1).

Воспользуемся теперь идеей статистической устойчивости для разъяснения понятия вероятности. Прежде всего выберем основной эксперимент-, например, будем наблюдать результат бросаний игральной кости или измерять мгновенное значение шумового напряжения в данный момент времени. Далее, определим все возможные исходы основного эксперимента. Так, например, возможными исходами бросания кости могут быть выпадения одного, двух, трех, четырех, пяти или шести очков, тогда как в случае измерения напряжения шума мы можем ожидать любых мгновенных значений от плюс до минус бесконечности. Будем теперь повторять основной эксперимент много раз в одинаковых условиях и наблюдать результаты.

Рассмотрим один из возможных исходов основного эксперимента, скажем выпадение двух очков при бросании кости. Свяжем с этим событием неотрицательное вещественное число, которое назовем вероятностью его появления. Предположим, что при большом числе N повторений опыта интересующее нас событие (А) происходит раз. Относительная частота появления события при N повторениях опыта равна тогда . Если имеется практическая уверенность (т. е. основанное на практике твердое убеждение), что при беспредельном увеличении числа опытов относительная частота возникновения данного события стремится к пределу, то мы можем сказать, что событие имеет определенную вероятность появления и определить как этот предел, т. е.

К сожалению, такой простой подход таит в себе много трудностей. Одна очевидная трудность состоит, например, в том, что, строго говоря, предел никогда не может быть найден (ибо никто не может прожить достаточно долго), хотя в некоторых случаях (таких, например, как азартные игры) могут быть очень веские основания полагать,

что этот предел существует и известен. Поэтому мы предпочтем определить вероятность не как предел относительной частоты, а абстрактным образом, но все же так, чтобы вероятности вели себя подобно пределам относительных частот. Важное оправдание такой процедуры постфактум состоит в том, что она приводит к так называемому закону больших чисел, который, грубо говоря, состоит в том, что при некоторых весьма общих условиях математический эквивалент эмпирически определенной относительной частоты сходится к соответствующей вероятности, а поэтому эмпирические относительные частоты могут быть использованы для определения вероятностей. Одну из форм закона больших чисел мы рассмотрим в § 5.5.