5. Зависимые события
Рассмотрим теперь проблему зависимых событий. Пусть даны две переменные х и у, могущие принимать значения
и пусть в некоторый момент мы выбираем значение для
каждой из двух переменных. Так, мы можем иметь для момента 
. Определим 
как вероятность того, что 
в один и тот же момент. Тогда
Если 
есть вероятность того, что 
(вне зависимости от значения у), то
Аналогично, вероятность того, что 
(не рассматривая х), есть
Мы имеем следующие соотношения:
Перейдем к выражениям для информации, соответствующей различным вероятностям. Совместная информация есть
Информация для х в отдельности
и для в отдельности
Сравним сумму 
. Из (2.26) и (2.27) имеем:
Легко показать, используя свойство В, что
В самом деле, заменяя в 
на 
, получаем:
Ясно, что существование совместной вероятности 
налагает ограничение, которое, как указывалось в главе 1, вызывает уменьшение информации. Равенство получается только, если 
, что означает, что события независимы.
