Приложение Б. МАТЕМАТИЧЕСКИЙ ВЫВОД РАЗЛИЧНЫХ РЕЗУЛЬТАТОВ ГЛ. 3.

Б.1. Оценки Чернова

Теорема 3.1. Пусть -сумма независимых случайных величин, — плотность распределения случайной величины, — производящая функция моментов случайной величины. Тогда для всех О, таких, что существует, справедливо неравенство

В случае дискретных справедливо то же утверждение, с тем исключением, что суть вероятности, а интеграл, определяющий заменяется суммой.

Доказательство. Сумма есть также случайная величина с функцией распределения и производящей функцией моментов, равной

Из определения получаем

Так как случайные величины независимы,

Из равенств и теперь получаем

Таким образом,

Перенеся сомножитель в другую часть неравенства, получаем утверждение теоремы — неравенство Теорема доказывается абсолютно так же и в случае дискретных Ч.Т.Д.

На первый взгляд может показаться, что из-за грубости оценки в неравенствах и получена довольно слабая оценка в неравенстве . Это, однако, не так, если значение параметра выбрано правильно и если больше среднего значения Чтобы показать это, рассмотрим произведение при больших быстро растет в окрестности точки Можно, однако, рассматривать как весовой множитель, который придает большой вес большим значениям Поэтому произведение будет иметь острый пик при некотором большем 2. Тонкость заключается в том, чтобы выбрать такое значение при котором этот пик имеет место в точке Аналитически это можно получить, взяв частную производную правой части неравенства по и положив ее равной 0. При этом

Можно показать, что при таком выборе оценка равенства называемая оценкой Чернова, имеет по крайней мере точное экспоненциальное поведение по

Теорема 3.2. Пусть суть пары случайных величин с плотностями распределения Пусть производящая функция моментов пар имеет следующий вид:

Пусть пары случайных величин не зависят друг от друга. Определим следующим образом:

Тогда для любых чисел

при любых таких, что существует. Когда дискретны, неравенство справедливо, если интегралы в заменить суммами, а плотности — вероятностями.

Доказательство. Пусть функция распределения пары и производящая функция моментов имеет следующий вид:

Используя равенства и независимость выборочных значений, получаем

Объединим равенства

Перенося сомножитель в другую часть неравенства, получим утверждение теоремы — неравенство Ч.Т.Д.

Б.2. Оптимальное значение f(y)

Требуется найти выражение для максимизирующее выражение

где

Если мы запишем в виде то даст максимум в том случае, когда имеет максимум по в точке независимо от выбора Условие будет выполнено автоматически, если мы перепишем интегралы в равенствах и как интегралы с пределами Тогда

Используя равенства и получаем

Записав правую часть равенства в виде одного интеграла, нетрудно убедиться в том, что он равен 0 при независимо от выбора только в том случае, когда подинтегральная функция

тождественно равна 0. Поэтому

Заметим, наконец, что, если значение удовлетворяющее равенству умножить на произвольную константу, полученная величина по-прежнему будет удовлетворять равенству из-за компенсирующего изменения Отсюда после небольших преобразований получим равенство (3.40).

Покажем теперь, что это значение дает локальный максимум по

Рассмотрим первую скобку в равенстве :

(кликните для просмотра скана)

Сравним, наконец, подинтегральную функцию в выражении с выражением мы видим, что она тождественно равна 0. Таким образом,

и мы показали, что выражение (3.40) дает локальный максимум по

Б.3. Исключение f(y) из выражения для экспоненты

В этом разделе мы упростим выражение для задаваемое равенствами и исключив из равенств и с помощью равенства (3.41), которое для удобства переписано здесь под номером

Прежде всего в равенстве прибавим и вычтем Это даст нам следующее:

Переписывая с помощью равенства получаем

Подставляя равенство в и записывая выражение для а, получаем равенства (3.43), (3.44) и (3.45).

Б.4. Упрощение выражения для экспоненты в случае ансамбля случайных кодов с проверками на четность

Из равенства (3.47) следует, что в этом случае не зависит от а. Поэтому выражение для в равенстве (3.43) не зависит от а и может быть записано следующим образом:

Если мы сделаем теперь подстановку то получим

Теперь найдем максимум по Определим

Частная производная в равенстве взята при постоянном но при этом считается, что изменяется в зависимости от в соответствии с соотношением Из вида выражения в скобках в ясно, что имеет стационарную точку при или

Чтобы показать, что действительно максимизирует достаточно показать, что выражение не отрицательно при и не положительно при Поскольку знак выражения определяется только членом в скобках, достаточно показать, что

или что

Перепишем первое слагаемое

Но согласно неравенству Шварца первый член в знаменателе этого выражения не превышает второго, поэтому все первое слагаемое отрицательно. Из тех же соображений и второе слагаемое отрицательно, поэтому равенство дает максимум Подставляя это значение в равенство получаем

Б.5. Общий случай ДСК

Для того чтобы максимизировать выражение (3.61) по и таким образом минимизировать оценку сверху для ДСК, можно просто объединить

равенства (3.61), (3.62) и (3.63) и положить производные результата по и к равными 0. Это будет громоздко, и, кроме того, трудно показать, что найденная таким способом стационарная точка есть в самом деле максимум по и минимум по к. Вспомним, однако, что равенства (3.61) и (3.64) мы получили, исключая из выражения в правой части неравенства (3.37).

В случае ДСК вид не существен. Ввиду условий симметрии, задаваемых равенством таким образом, вполне определяется одним своим значением. Мы, кроме того, показали, что умножение на константу не меняет величины поэтому для ДСК можно выбрать равной 1. Теперь можно вернуться к неравенству (3.37) и минимизировать оценку непосредствённо. Положив имеем

Для минимизации выражения по нужно просто минимизировать

если принадлежит области, в которой

Чтобы показать, что равенство в самом деле минимизирует мы можем проверить, что

Это можно сделать либо прямым, но трудоемким дифференцированием, либо вспомнив, что вторая производная производящей функции семиинвариантов

всегда положительна [4]. Аналогичным образом, минимизируя по получаем

если принадлежит области, в которой . И наконец, минимум по можно получить, приравняв две экспоненты

Вообще говоря, можно воспользоваться соотношениями и для того, чтобы выразить через К, если существует решение при Чтобы упростить эти соотношения, объединим прежде всего выражения и для того, чтобы исключить

где

Третье неравенство в необходимо для того, чтобы были удовлетворены неравенства

Перегруппировав слагаемые равенства получим

Равенство упростится, если мы прибавим к обеим его частям и подставим в правую часть а — в левую. После некоторых упрощений получим

Кроме того, поскольку мы приравняли экспоненты в правой части неравенства можно упростить выражение для Поступая так же, как и при выводе равенства получаем

где удовлетворяет и и

Из рис. 3.4 нетрудно увидеть, что оценка в неравенстве убывает с ростом таким образом, минимизация по X означает отыскание такого X, при котором минимизируется значение удовлетворяющее выражениям и Более простое выражение для этого значения X можно найти из неравенства выбирается так, чтобы максимизировать