5. Зависимые события
Рассмотрим теперь проблему зависимых событий. Пусть даны две переменные х и у, могущие принимать значения
и пусть в некоторый момент мы выбираем значение для
каждой из двух переменных. Так, мы можем иметь для момента
. Определим
как вероятность того, что
в один и тот же момент. Тогда
Если
есть вероятность того, что
(вне зависимости от значения у), то
Аналогично, вероятность того, что
(не рассматривая х), есть
Мы имеем следующие соотношения:
Перейдем к выражениям для информации, соответствующей различным вероятностям. Совместная информация есть
Информация для х в отдельности
и для в отдельности
Сравним сумму
. Из (2.26) и (2.27) имеем:
Легко показать, используя свойство В, что
В самом деле, заменяя в
на
, получаем:
Ясно, что существование совместной вероятности
налагает ограничение, которое, как указывалось в главе 1, вызывает уменьшение информации. Равенство получается только, если
, что означает, что события независимы.