ГРАНИЦА ЧЕРНОВА

Для лучшего понимания сущности закона больших чисел приведем второй более наглядный вывод этого закона. Пусть совокупность статистически независимых случайных величин с нулевым

Фиг. 2.41. Геометрические построения, иллюстрирующие второе доказательство закона больших чисел.

математическим ожиданием, задаваемых одной и той же плотностью распределения вероятностей и имеющих, следовательно, одну и ту же дисперсию конечную по нашему предположению. Утверждение закона больших чисел состоит в том, что

Новый вывод неравенства (2.152) начнем с определения случайной величины посредством преобразования

где функция, принимающая только два значения (фиг. 2.41,а):

Переходя к , получаем

Поскольку 2 принимает только два значения 0 и 1, то

Таким образом, математическое ожидание величины равно исследуемой вероятности. По основной теореме о математическом ожидании

Вообще говоря, для произвольной плотности не существует простого способа вычисления правой части равенства (2.1546). Однако верхнюю оценку для этой величины, совпадающую с оценкой, даваемой законом больших чисел, можно получить, заметив, что, как показано на фиг. 2.41,б,

Следовательно,

Так как величины статистически независимы и имеют каждая нулевое среднее значение и дисперсию то в соответствии с соотношением (2.133)

Подставляя соотношения (2.157) и (2.156) в выражение (2.154а), получаем искомое неравенство (2.152).

Из этого вывода неравенства (2.152) видно, что можно получить и другие оценки, отличные от оценок, даваемых законом больших чисел, если в качестве оценки для функции в соотношении (2.155) вместо использовать другие функции. В самом деле, для любой функции такой, что

получаем

Аналогично, если интересоваться оценкой только для больших положительных значений величины то можно использовать в качестве границы для односторонней ступенчатой фупкции любую подходящую функцию как показано на фиг. 2.42,а. При этом получаем

Особенно хорошая оценка получается в этом одностороннем случае, если, как показано на фиг. 2.42,б, выбрать

Тогда

Поскольку случайные величины статистически независимы, то статистически независимы и величины Поэтому

В последнем равенстве через у обозначена любая величина из совокупности одинаково распределенных случайных величин Подставляя равенство (2.159б) в выражение (2.159а), получаем

Фиг. 2.42. Геометрические построения для вывода границы Чернона.

Хотя неравенство (2.159в) справедливо при любом следует выбрать к так, чтобы правая часть неравенства была минимальной. Это оптимальное значение можно найти, дифференцируя по Я фупкцию и приравнивая производную нулю:

Сокращая на преобразуя последнее выражение, получаем неявно как корень уравнения

При этом неравенство (2.159в) преобразуется в неравенство

Можно показать 1331, что задаваемое уравнением (2.160а), всегда неотрицательно при и что при этом значении получается минимальное значение (а не максимальное).

Граница, задаваемая соотношениями (2.160), называется границей Чернова . Этой границей можно пользоваться, если числитель и знаменатель в левой части уравнения (2.160а) конечны, что заведомо справедливо для любой дискретной случайной величины, принимающей конечное число значений, и для многих непрерывных случайных величин. Хотя воспользоваться этой границей не столь просто, как границей, даваемой законом больших чисел, тем не менее граница Чернова дает гораздо более точный результат:

если ввести величину

то из соотношения (2.1606) получается, что

Таким образом, граница Чернова убывает экспоненциально с ростом тогда как граница, которую дает закон больших чисел, убывает только как Волее того, можно показать [34, 73], что число X, входящее в показатель степени, является паибольшим возможным. Это значит, что, каково бы ни было где X не зависит от никакое неравенство вида

не может выполняться при всех Мы будем говорить, что граница Чернова является экспоненциально точной.

Границу Чернова можно распространить и на случай совокупности одинаково распределенных независимых случайных величин с ненулевыми средними, полагая

Тогда неравенство (2.1606) перепишется в виде

где любая фиксированная случайная величина из совокупности одинаково распределенных величин Уравнение (2.160а) для определения переходит в уравнение

Аналогичные рассуждения справедливы в случае, когда — отрицательная постоянная величина. В результате получается неравенство

где постоянная теперь являющаяся отрицательной, снова неявно задается уравнением (2.162б).

Полученные результаты можно изложить кратко, введя

А именно,

где кокорень уравнения

Пример, В качестве примера рассмотрим границу Чернова для случайных величин

При этом

Найдем из уравнепия (2.1636): при

или

Отсюда

Наконец,

причем если и если как и следует ожидать.

Теперь можно вычислить величину, стоящую в скобках в левой части неравенства (2.163а):

Таким образом,

и

Поучительна геометрическая интерпретация найденной границы (2.165б). Рассмотрим

где

Функция называется функцией двоичной энтропии. Для этой функции имеются таблицы; график ее приведен на фиг. 2.43, а.

Можно показать, что является линейной функцией от своего аргумента и что совпадают и имеют один и тот же угол наклона в точке а Таким образом, X можно представить геометрически, как показано на фиг. 2.43, б, в. Заметим, что X возрастает с ростом

Фиг. 2.43. Геометрическое построение показателя степеип X, используемого в границе Чернова для двоичпых случайных неличиц. касательная к в точке Показатель X равен разности между и и точке

Фиг. 2.44. Простейший дискретиый какал связи, называемый двоичным симметричным каналом. Если на вход канала подается 0, то на выходе его появляется 0 с вероятностью и появляется 1 с вероятностью Если на вход канала подается 1, то эти вероятности следует поменять местами.

Применение гранигы Чернова. Интересный пример использования границы Чернова для биномиального случая возникает при оценке вероятности ошибки в случае, когда для передачи одного из двух возможных входных сообщений раз подряд нечетно) используется дискретный канал связи, изображенный на фиг. 2.44. Итак, если то по каналу передается последовательность, состоящая из нулей; если то передается последовательность из единиц. На приемнике наблюдается последовательность из принятых симполов и полагается при этом если большинство из этих символов нули, и если большинство символов единицы. Ошибка возникает тогда и только тогда, когда более половины символов приняты с ошибкой.

Введем совокупность случайных величин полагая

Если переходные вероятности канала равны и если появление или непоявление ошибки в канале в разные моменты передачи являются статистически независимыми событиями, то случайные величины совпадают с величинами, определенными соотношением (2.164). Более того, вероятность ошибки на приемнике

Поэтому можно сразу воспользоваться оценкой (2.1656) при

В предположении, что получаем

С другой стороны, подстанляя в неравенство, задаваемое законом больших чисел, находим

Сравнение точности этих двух оценок дает еще более разительные результаты, если утроить величину приравняв ее . Для границы Чернова это равносильно

возведению в куб, в результате чего получается оценка тогда как из закона больших чисел получается только оценка, уменьшенная в три раза: 0,014.