раскрывая правую часть этого равенства, мы имеем из (2.30):
Объединяя теперь (2.29) и (2.32), получаем:
или
Условная информация
есть информация относительно у, если
уже известно. Знание
представляет собой ограничение, уменьшающее информацию при выборе у. Равенство получается только тогда, когда х и у являются независимыми событиями.