2.2. Теория вероятностей

Теория вероятностей изучает усредненные характеристики событий или экспериментов, которые могут быть описаны математически. Основное положение теории заключается в том, что некоторые из этих средних величин приближаются к детерминированным величинам, когда число испытаний или наблюдений возрастает. Например, при бросании монеты герб выпадает примерно в половине случаев, если бросать монету достаточно большое число раз.

Для того чтобы четко определить область применения теории вероятностей, необходимо быть точным при описании экспериментов, содержащих элемент случайности. Будем называть результат эксперимента просто исходом. Набор всех возможных исходов данного эксперимента представляет собой выборочное пространство . События могут быть простыми или неразлагаемыми, а также составными, т. е. разлагаемыми. Например, выпадение четного числа при бросании кости является составным событием, так как его можно разложить на три простых события: появление двойки, четверки и шестерки.

Отношение числа случаев, когда появляется событие, к общему числу испытаний называется относительной частотой появления события. Когда число испытаний неограниченно возрастает, мы говорим об относительной частоте как о вероятности появления этого события. Таким образом, запишем вероятность  появления события   в виде     

 ,                   (2.1)

где  - число случаев появления события ;  — общее число испытаний. Здесь  относится к событию, а  — к значению этого события. Для простоты изложения предположим, что события  независимы, так что никакие два события  и  не могут появиться одновременно.

Если выборочное пространство состоит из  независимых событий , то , так что

.         (2.2)

Другими словами, сумма вероятностей независимых событий, которые составляют выборочное пространство, равна единице. Кроме того, отметим, что вероятность любого события всегда неотрицательна.

Иногда два эксперимента проводятся одновременно и необходимо определить вероятность появления события  в первом эксперименте и события  во втором. Из ур-ния (2.1) непосредственно следует

;           (2.3)

Но эти две вероятности не полностью описывают возможные исходы эксперимента, так как представляет интерес также вероятность совместного появления событий  и. Если предположить, что события появляются совместно  раз, то вероятность того, что  и  равна  

.           (2.4)

Пусть в ф-ле (2.4) представляет интерес только одна величина, например, . Тогда число появлений события  равно

           (2.5)

где  — число независимых событий, связанных с , т. е. . Объединяя ф-лы (2.1) и (2.4), получим

           (2.6)

Подобным же образом находим

          (2.7)

где  — число независимых событий в пространстве  т. е. . Функции  и  в ф-лах (2.6) и (2.7) называются маргинальными (индивидуальными) вероятностями.

Нас может интересовать вероятность появления как события  или события , так и обоих событий. При  испытаниях событие  появляется  раз, событие  появляется  раз, события  и  совместно появляются  раз. Число появления любого из событий  и  равно числу появлений события  плюс число появлений события   минус число совместных появлений этих событий. Таким образом,

    (2.8)

Член  надо вычитать, так как его учли дважды, один раз в  и один раз  в . Когда появление одного из событий исключает появление другого, события называются взаимно несовместными и .

Типичной задачей теории связи является определение оценки передаваемого сообщения по известному принятому сигналу. Для решения этой задачи необходимо знать или иметь возможность вычислить вероятность того, что передаваемое сообщение присутствует в принятом сигнале. Таким образом, желательно иметь возможность определить вероятность появления события  при условии, что событие  наступило. В серии из  испытаний событие  появляется  раз, а события , совместно появляются  раз. При определении условной вероятности, т. е. вероятности того, что  при условии, что, необходимо рассматривать только те события, в которых , так как мы знаем, что событие  наступило. Если число совместных появлений событий поделить на число появлений события  и перейти к пределу, получим условную вероятность появления события  при условии, что событие  наступило. Это утверждение известно как теорема о совместной вероятности. Аналитически оно записывается в виде

,                (2.9)

где  называется условной вероятностью появления события  , при условии, что событие  наступило. Аналогично имеем

.                 (2.10)

Если совместная вероятность  является простым произведением индивидуальных вероятностей  и , т. е.

,          (2.11)

для всех возможных  и , то события  и  называются независимыми. Из ф-лы (2.10) легко получить, что если  и  независимы, то вероятность события  при условии  не зависит от , так что

                    (2.12)

и аналогично

.                     (2.13)

Представляет интерес скомбинировать ф-лы (2.10) и (2.9) так, чтобы исключить вероятность совместного появления. В результате получим формулу Байеса

.             (2.14)

Формула или теорема Байеса широко используется в теории оптимальных оценок. Часто известна условная вероятность принятого сообщения и требуется определить условную вероятность переданного сообщения при данном принятом сообщении. Теорема Байеса дает метод получения этой вероятности.

В этом разделе были изложены основные понятия теории вероятностей, базирующиеся на понятии относительной частоты появления события. Мы оставили в стороне более строгий аксиоматический подход к теории вероятностей с тем, чтобы подчеркнуть физическую природу вероятности и ее связь с экспериментальными результатами.