Тогда
Обратно, если при всех
то имеем
Доказательство. Предположим, что справедливо
и для любого заданного
выберем
так, чтобы
Полагая
из
получаем, что
Подобно этому, полагая
для любого целого числа
имеем
Используя индукцию, предположим, что
тогда
означает, что
В силу справедливости предположения индукции при
получаем
Далее при любом
величину N можно представить в виде
где
Подставляя
вместо
получаем
Отсюда следует, что для всех достаточно больших N справедливо, что
Равенство
следует из того, что а а, и того, что
выбрано произвольным. Равенство
получается из
если заметить, что
означает, что
применимо к последовательности —
и таким образом
Доказательство теоремы 4.6.1 начнем с вывода соотношения
Пусть при произвольных положительных целых числах
являются распределениями на входе, на которых достигаются
соответственно. Пусть
и выберем
в виде
где
Отсюда можно заметить, что
являются статистически независимыми при условии, что заданы и
Следовательно, для второю слагаемого в
получаем
Что касается первого слагаемого в
то оно удовлетворяет неравенству:
Последнее слагаемое в
можно оценить сверху, используя лемму 1:
Подставляя
будем иметь
или
Из леммы 2 следует, что