СТАТИСТИЧЕСКАЯ НЕЗАВИСИМОСТЬ

Как уже указывалось, условная вероятность является прямым аналогом условной относительной частоты в физическом эксперименте — в обоих случаях мы рассматриваем только подмножество, составленное из тех возможных исходов, которые удовлетворяют некоторому условию. При этом предполагаем, что в длинной последовательности независимых испытаний условная относительная частота установится около соответствующей условной вероятности.

Фиг. 2.9. Независимость и зависимость трех событий. а — независимые события, удовлетворяются соотношения попарно независимые события, удовлетворяются соотношения не удовлетворяется соотношение в — зависимые события, удовлетворяются соотношения не удовлетворяется соотношение с.

Если совместная вероятность двух событий удовлетворяет условию

или эквивалентному условию

то эти события называются статистически независимыми. Равенства (2.25) отражают приближенное соотношение (2.15б) для соответствующих относительных частот при независимых испытаниях.

Совокупность к событий называется статистически независимой, если и только если вероятность любого пересечения к или меньшего числа событий из этой совокупности равна произведению вероятностей событий, пересечение которых рассматривается. Так, три события статистически независимы, если

и

Ни одно из этих соотношений не является следствием трех остальных соотношений. Если слраведливы только соотношения (2.26), то говорят, что события являются попарно независимыми. Попарная независимость не влечет за собой независимость всей совокупности событий. Различные возможности иллюстрируются на фиг. 2.9.

Задача об урне. Нахождение вероятности совместного появления двух событий часто упрощается, если использовать условные вероятности. Рассмотрим, например, задачу об урне. Пусть из урны, содержащей один черный и два красных шара, случайным образом извлекаются два шара. Если два шара извлекаются без возвращения, то результатом могут быть только последовательности Введем индекс, чтобы обозначить номер извлечения. Для первого извлечения положим Для второго извлечения положим

где условием является результат первого извлечения. Тогда

Задача из теории связи. Вторым, особенно уместным примером использования условной вероятности является следующая идеализация проблемы связи. Рассмотрим математическую модель дискретного канала связи, имеющего М возможных сообщений на входе возможных символов на выходе Для наших целей достаточно определить модель канала совокупностью условных вероятностей задающих вероятность появления каждого символа на выходе при поступлении любого сообщения на вход. При небольших значениях эти условные вероятности (часто называемые в теории связи «переходными вероятностями») удобно представлять с помощью диаграммы, как показано на фиг. 2.10.

Приведенная модель описывает реальную систему связи, подобную системе, изображенной схематически на фиг. 1.7, при условии, что вся эта система, начиная от выхода источника и кончая входом решающего элемента, рассматривается для удобства исследования как единый «канал». В частности, эта модель получается, когда имеется только один детектор (как на фиг. 1.8) и по предположению на его выходе (точка а) может появиться одно из дискретных значений. При этих условиях построение «приемника» сводится к заданию решающего элемента.

Предположим, что известна совокупность М вероятностей с которыми появляются сообщения на входе. Эти вероятности называются априорными вероятностями сообщений (т. е. вероятности до приема). Наша задача состоит в том, чтобы описать приемник, который по полученному символу принимает оптимальное решение относительно того, какое сообщение было передано. Под оптимальным решением понимается решение, для которого вероятность Р того, что оно правильно, максимальна.

Фиг. 2.10. Диаграмма вероятностей перехода, .

Следовательно, мы ожидаем, что в длинной последовательности независимых испытаний оптимальный приемник правильные решения будет принимать значительно чаще, чем любой неоптимальный приемник.

Действие канала может быть описано с помощью пространства элементарных событий состоящего из элементарных событий каждое из которых соответствует одной из возможных пар вход — выход Вероятности этих элементарных событий задаются равенством

По ним, используя равенства (2,236), можно вычислить величины

и

Пример типичной вероятностной системы для и показан на фиг. 2.11.

Фиг. 2.11. Вероятностная система для задачи из теории связи. Вероятности каждой пары вход — выход представлены соответствующей площадью.

До начала передачи априорная вероятность того, что будет передаваться некоторое частное сообщение равна Если после передачи получено

то вероятность того, что было передано сообщение равна Эта вероятность называется апостериорной вероятностью сообщения Эффект передачи состоит в том, что вероятность каждого возможного сообщения меняется и априорная вероятность события превращается в его апостериорную вероятность.

Задание приемника сводится к заданию отображения пространства выходов канала на пространство сообщений на входе каждому возможному получаемому символу должно быть приписано одно и только одно возможное сообщение. Обозначим через сообщение на входе из множества которое соответствует полученному сигналу Тогда условная вероятность правильного решения при условии, что получен сигнал в точности совпадает с вероятностью того, что фактически было передано так что

Очевидно, принимает наибольшее значение, если в качестве выбрать то из сообщений которое имеет наибольшую апостериорную вероятность. Этим правилом решения по максимуму апостериорной вероятности, применяемым независимо к каждому возможному получаемому символу и определяется оптимальный приемник. Если для нескольких сообщений апостериорные вероятности совпадают и максимальны, то символу можно произвольным образом сопоставить любое из этих сообщений причем свойство оптимальности при этом не нарушится.

То, что это правило выбора решения является оптимальным, становится ясным, если, используя равенство (2.29), вычислить безусловную вероятность правильного решения

Положительные величины не зависят от правила выбора решения, и поэтому сумма по принимает наибольшее значение тогда и только тогда, когда значения являются наибольшими.

Для определения оптимального отображения и получающейся вероятности ошибки не обязательно вычислять значения вероятностей . В соответствии с равенствами (2.28), если наибольшей апостериорной вероятностью япляется вероятность сообщения так что

то если и только если

После того как множество выбрано с помощью неравенств (2.316), вероятность правильного решения может быть вычислена по формуле

где обозначает совместную вероятность того, что посланное сообщение равно а принятый сигнал равен .

Наконец, вероятность ошибки Р [Щ вычисляется по формуле

Фиг. 2.12. Двоичный канал связи.

Пример. На фиг. 2.12, а показан двоичный канал с двумя символами на входе и двумя символами на выходе. Вероятности символов на входе равны

Переходные вероятности канала связи определяются как

Тогда вероятности четырех возможных пар символов на входе и выходе, как показано на фиг. 2.12, б, задаются равенствами

Поскольку

то оптимальный приемник определяется при помощи отображения

В соответствии с соотношением (2.32а)

и

Элементарные события, соответствующие ошибке, заштрихованы на фиг. 2.12, б.