Тогда
Обратно, если при всех
то имеем
Доказательство. Предположим, что справедливо и для любого заданного выберем так, чтобы
Полагая из получаем, что
Подобно этому, полагая для любого целого числа имеем
Используя индукцию, предположим, что тогда означает, что В силу справедливости предположения индукции при получаем
Далее при любом величину N можно представить в виде где Подставляя вместо получаем
Отсюда следует, что для всех достаточно больших N справедливо, что Равенство следует из того, что а а, и того, что выбрано произвольным. Равенство получается из если заметить, что означает, что применимо к последовательности — и таким образом
Доказательство теоремы 4.6.1 начнем с вывода соотношения
Пусть при произвольных положительных целых числах являются распределениями на входе, на которых достигаются соответственно. Пусть и выберем в виде
где
Отсюда можно заметить, что являются статистически независимыми при условии, что заданы и Следовательно, для второю слагаемого в получаем
Что касается первого слагаемого в то оно удовлетворяет неравенству:
Последнее слагаемое в можно оценить сверху, используя лемму 1:
Подставляя будем иметь
или
Из леммы 2 следует, что