ГЛАВА 3. ИЗБЫТОЧНОСТЬ В ЯЗЫКЕ
1. Корреляция и зависимые события
Для того чтобы ввести в рассмотрение корреляцию, мы повторим некоторые определения и соотношения, относящиеся к зависимым событиям.
Мы рассматривали две переменные х и у, которые могут, например, принимать значения
и определили 
как вероятность того, что в данный момент 
. Соответствующая информация есть 
Мы определили также другие вероятности. Величина 
равна вероятности того, что 
для любого 
. С этой вероятностью связана информация 
. Величина 
— вероятность того, что 
для любого 
.
Связанная с этой вероятностью информация есть 
. В предыдущей главе было найдено, что
Это неравенство следует из того факта, что при наложении на систему ограничений информация убывает.
Для получения равенства мы взяли условную вероятность 
, т. е. вероятность того, что 
, когда известно, что 
. С этой вероятностью связана условная информация 
.
Связь между вероятностями выражается соотношением
и, определив условную информацию, как
мы получили следующее равенство:
