ПРИЛОЖЕНИЯ

ПРИЛОЖЕНИЕ 1. АСИМПТОТИЧЕСКИЕ СООТНОШЕНИЯ ДЛЯ СЛУЧАЯ БЛИЗКИХ ГИПОТЕЗ

1. В дальнейшем изложении означает плотность (вероятность), о значениях параметра а которой выдвигаются две гипотезы Имеет место следующая лемма.

Лемма 1 [77]. Пусть в окрестности значений и

1. для всех из некоторого подмножества действительной прямой .

2. и ее частные производные по а до 3-го порядка включительно непрерывны.

3. Существуют интегралы

Тогда

где

Доказательство. Из условия 2 леммы 1 следует возможность использования формулы Тейлора

где

и а лежит между

Так как непрерывен со всеми производными для то согласно условию 1 леммы 1 для х из удовлетворяет, как и условиям 2 леммы 1.

Поэтому, используя формулу Тейлора в той же форме, что и выше, будем иметь

где

Перемножая левые и правые части и и выделяя линейные и квадратичные члены от переменных будем иметь

Итак, окончательно имеем

Аналогично

и

Произведем почленное интегрирование по соотношений Такое интегрирование можно делать, так как по условию 3 леммы 1 существуют интегралы от левых частей и первых членов правых частей этих выражений. Формально можно вести интегрирование по всей прямой , так как вне множества интеграл равен нулю.

Из полученных интегральных выражений следует, как легко видеть, утверждение леммы 1.

Имеет место следующая лемма.

Лемма 2. Пусть в окрестности точек существуют корни уравнения

и плотность удовлетворяет условиям леммы 1, тогда в окрестностях соответственно)

Доказательство. Воспользуемся разложением Из непрерывности со своими производными степенной функции имеет место аналогичное разложение

Перемножая соотношения и будем иметь

откуда имеем окончательно

Из условий леммы 2 следует возможность почленного интегрирования . В результате получим

Откуда

Так как в окрестностях и и по условию, то, деля оба члена последнего соотношения на будем иметь

Пусть как где произвольное число. Тогда из соотношения имеем

Пусть тогда

что и требовалось доказать.

Леммы 1, 2 используются для вычисления среднего и дисперсии числа испытаний в последовательной процедуре, а также оперативной характеристики этой процедуры в окрестностях гипотетических значений параметра

Следующая общая лемма 3 является вспомогательной при доказательстве универсального характера распределения Вальда для случая близких гипотез. Имеет место следующая лемма.

Лемма 3. Пусть средние и дисперсии независимых случайных величин таковы, что

и

тогда функция распределения их суммы асимптотически при совпадает с функцией распределения случайной величины

с вероятностью, большей чем

Доказательство. Охватывая дискретный и непрерывный случаи, запишем выражение свертки в форме интеграла Стильтьеса [6]

где функция распределения 5. Далее, разбивая интеграл на две части и используя теорему о среднем, будем иметь

где

откуда

Из получаются очевидные оценки, если положить во втором интеграле равным своим крайним значениям и 1. Имеем

Ослабляя неравенство получаем

Оценивая сверху правую часть неравенства с помощью неравенства Чебышева, полагая будем иметь

Но из-за независимости 5 и у при сложении их сумма имеет среднее и дисперсию, равную сумме средних и дисперсий слагаемых. Поэтому Отсюда на основании неравенства Чебышева имеем

т. е. при с вероятностью, близкой к единице, все значения Учитывая, что по условию леммы легко получим из неравенств и при и утверждение леммы 3.

Рассмотрим случай несимметричных порогов (или разного порядка малости вероятностей ошибок 1-го и 2-го рода и близких гипотез. Тогда согласно (1.88), (1.89) и имеют следующие выражения

где

Имеет место следующая лемма.

Лемма 4 [77]. Пусть плотность удовлетворяет условиям леммы 1. Тогда число испытаний последовательной процедуры выбора между двумя близкими гипотезами в случае несимметричных порогов удовлетворяет следующим соотношениям:

Доказательство. Используя для случайной величины неравенство Чебышева. будем иметь

Подставляя в выражения для соответственно и полагая , будем иметь

Подставив в выражения для К, получим утверждение леммы 4.

Теперь может быть доказан универсальный характер распределения Вальда в качестве аппроксимации распределения числа испытаний в последовательной процедуре выбора между двумя близкими гипотезами при несимметричных порогах. Имеет место следующая теорема. Теорема 1 [77]. Пусть удовлетворяет условиям лехммы 1. Тогда вероятность того, что

При этом

и

Доказательство. При заданных последовательная процедура выбора между двумя гипотезами о параметре плотности случайной величины основывается на двухпороговом анализе реализации случайной величины

где независимые одинаково распределенные с случайные величины.

Введем новые группированные случайные величины

Тогда

где целая часть числа у.

Пусть удовлетворяет условиям леммы 1 и порядок роста где произвольно мало. Тогда «ляпуновское отношение для при

что обеспечивает асимптотическую нормальность.

Рассмотрим теперь последовательную процедуру выбора между двумя гипотезами

и

относительно среднего значения

нормально распределенной случайной величины имеющей плотность

с известной дисперсией

Пусть в обоих процедурах заданы одними и теми же.

Легко показать, что "элементарный" логарифм отношения правдоподобия случайной величины I имеет вид

и снова нормален

Последовательная процедура основывается на двухпороговом анализе реализации случайной величины

где С — независимые одинаково с С распределенные случайные величины.

Покажем, в каких случаях случайные величины асимптотически одинаково распределены.

Пусть кратно тогда в представлении остается лишь первая сумма, которая распределена одинаково с так как асимптотически одинаково распределены. Постоянство в обоих процедурах приводит к одним и тем же порогам в них. Отсюда следует стохастическая неразличимость обоих процедур и как следствие этого одинаковая распределенность Но так как распределение имеет аппроксимацию [1], то распределения имеют ту же аппроксимацию.

Пусть не кратно и порядок что имеет согласно лемме 4 вероятность, большую чем Далее, первая и вторая суммы в представлении независимые случайные величины, при этом среднее и дисперсия первой суммы имеют один и тот же порядок в то время как порядок среднего и дисперсии второй суммы не превосходит

Поэтому мы находимся в условиях леммы 3, если положить распределение асимптотически совпадает с распределением первой суммы в представлении с вероятностью, большей чем Таким образом, мы возвращаемся к уже рассмотренному случаю с вероятностью совмещения двух упоминавшихся условий, большей чем Последнее заключение легко получить из неравенств Буля (см. п. 4). Этим теорема доказана полностью.

2. Далее рассматриваются некоторые теоремы [48], связанные с выбором между двумя близкими гипотезами о значениях параметра а плотности

случайной величины 6, имеющей распределение Райса (см. гл. 2, п. 2.3.5), где

— модифицированная функция Бесселя нулевого порядка.

Логарифм элементарного отношения правдоподобия здесь имеет вид

Может быть доказана следующая лемма. Лемма 5. С вероятностью

имеет место следующее асимптотическое представление:

где

Доказательство. Соотношение следует из того, что при распределение Райса переходит в распределение Релея с явным выражением для функции распределения.

Представление имеющее смысл при условии выполняемом с вероятностью получается из соотношения использованием формулы Тейлора для

На основании леммы 5 может быть доказана следующая теорема.

Теорема вероятностью, имеет место следующее асимптотическое представление:

Здесь независимые случайные величины, первая, имеющая распределение хи-квадрат с двумя степенями свободы, вторая, имеющая нормальное распределение, где

— вырожденная гипергеометрическая функция.

Доказательство. Рассмотрим характеристическую функцию

С вероятностью, указанной в условии теоремы, имеет место разложение

Поэтому с той же вероятностью имеют место следующие асимптотические представления (и):

(см. скан)

Итак, имеем

или

Но первое слагаемое правой части распадается на произведение характеристических функций случайной величины, имеющей распределение хи-квадрат с двумя степенями свободы случайной величины у, имеющей нормальное распределение

Поэтому можно представить как сумму независимых слагаемых

откуда следует утверждение теоремы 2.

3. Для случая близких гипотез (см. гл. 2, § 2.2) оптимальная дискретизация с порогом

сводится к выбору таких значений которые обращают в максимум выражение

Обозначим этот максимум

Справедлива следующая теорема. Теорема 3. Пусть при всех непрерывна по х. и существует интеграл тогда имеют место неравенства

где

Доказательство. В самом деле, по определению

Пусть максимум

достигается при

С другой стороны, из-за непрерывности по

можно считать, что

Из и следует, что

Из определения предельным переходом получается соотношение и этим завершается доказательство теоремы 3.

4 В Доп. IV для доказательства теоремы необходимо использовать известное неравенство Буля. Ниже приводится его вывод.

В самом деле, пусть некоторое абстрактное множество произвольных элементов (конечное или бесконечное). Его подмножество будем обозначать через (обозначение означает, что входит в и может совпадать с ним). Тогда легко проверить (см. [12]), что

где означает объединение; пересечение множеств, а дополнение множества определяется, как множество дающее при объединении с все По индукции легко доказать, что

где и означают соответственно объединение и пересечение подмножеств

Рассматривая как множества элементарных событий, можно использовать соотношения между ними для получения соответствующих соотношений для их вероятностей (см. [12]). Из соотношения будем иметь

Далее имеем, так как вообще говоря, зависимые события (пересекающиеся множества),

Итак,

Откуда, подставляя в будем иметь окончательно

Оценка снизу вероятности совмещения вообще говоря, зависимых событий называется неравенством Буля.

Теперь приведем доказательство предельной теоремы (Доп. IV).

Вероятность правильного декодирования кодовой таблицы А, составленной из входных кодовых комбинаций а (выборок объема из полиноминальной

генеральной совокупности с параметрами является полной вероятностью

где абсолютная вероятность кодовой таблицы — условная вероятность правильного декодирования; при условии использования кодовой таблицы совокупность всевозможных кодовых таблиц

Разобьем совокупность и на две непересекающиеся части

где состоит из всех кодовых таблиц различными входными кодовыми комбинациями а.

Согласно условию теоремы в случае, если в входят повторяющиеся а, то считаем, что имеет место ошибка декодирования, т. е. для

Тогда из имеем

Пусть вероятности для оцениваются снизу величиной Тогда из имеем

где вероятность того, что А состоит из различных входных кодовых комбинаций а. Итак

Оценим вероятности, стоящие в правой части неравенства Начнем с оценки вероятности

В § IV.3 было показано (IV.12), что для случая близких гипотез нормированный -логарифм коэффициента правдоподобия

(где величины определены на паре является реализацией случайной величины

С ростом случайная величина асимптотически -нормальна, если верна гипотеза (а не передавалось, принято и асимптотически -нормальна, если верна гипотеза (а передавалось, принято Пусть единственный порог X классической процедуры выбора между гипотезами находится в пределах — Тогда для вероятностей ошибок первого и второго рода имеем соответственно следующие асимптотические выражения (см. (2.125), (2.126), (2.127):

и

Если то а по-прежнему выражается соотношением а

Декодирование кодовой таблицы состоящей из полиноминально распределенных входных кодовых комбинаций было сведено в к выборам между гипотезами по величинам [см. ].

Для оценки вероятности рассмотрим случай, когдй все различные. Тогда правильное декодирование соответствует совмещению событий. Именно, к превышению величиной порога X, если передавалось непревышению порога X для остальных соответствующих непередававшимся

Выбор единого порога X для всех выборов между естествен из-за симметрии задачи. Рассматриваемые события являются зависимыми ввиду того, что соответствующие им случайные величины входящие в выражения определены на одном и том же Можно привести лишь оценки (впрочем, довольно хорошие) для вероятности их совмещения где

Эти оценки имеют вид

Верхняя оценка очевидна, так как вероятность совмещения нескольких событий не может превзойти вероятности одного из них. Нижняя оценка является частным случаем неравенства Буля [см. ].

Подставив в неравенства выражения для и а также учитывая, что будем иметь

при

и

Положим тогда

и неравенства и переходят в неравенства

Приступим теперь к оценке вероятности Пронумеруем всевозможные входные кодовые комбинации а в порядке невозрастания их вероятностей [см. ]

где означает число символов во входной кодовой комбинации длины

Пусть совокупность входных кодовых комбинаций а, в числе состоит из всех имеющих один и тот же набор чисел при

Все входящие в имеют одну и ту же вероятность Используя формулу Стирлинга, легко найти асимптотические значения вероятности и числа элементов множества при

где причем

Так как всевозможных множеств столько же, сколько различных векторов а число последних [12] растет не экспоненциально с ростом то любая сумма вероятностей или чисел элементов различных множеств имеет тот же порядок величины, что и порядок величины максимального слагаемого. Этим обстоятельством воспользуемся для дальнейших оценок. В самом деле, из того, что следует, что

причем значение достигается при Значение имеет особую роль.

Из сделанных замечаний следует, что вероятность или число элементов множества где суммирование ведется по любому множеству У векторов у (соответствующих не содержащих значение с некоторой его е-окрестностью (в ней точка должна быть внутренней точкой), имеют оценки

и

причем

Оценим теперь значение (вероятности того, что все выборок объема различны), используя принятую в нумерацию входных кодовых комбинаций. Имеем соотношение

где оценка снизу получена последовательными оценками сумм справа налево с помощью соотношений [следуют из принятой нумерации ]

Произведем дальнейшие оценки в предположении

1. Имеем

Оценим величину Рассмотрим случай

Из легко получаемого тождества [91]

где имеем Поэтому совокупность различных входных кодовых комбинаций не может содержать их множества с у (соответствующими лежащими в некоторой -окрестности точки так как для них [см.

и, кроме того, вероятность этой совокупности согласно и имеет вид

Итак,

Поэтому из получим

Покажем теперь, что при условии (это всегда имеет место для случая близких гипотез, так как при этом быстрее стремится к единице при чем так что их произведение асимптотически совпадает с Для этого достаточно показать [см. и ], что

В самом деле, неравенство следует из цепочки неравенств

в которых неравенство эквивалентно условию а также используются ранее приведенные неравенства

Но непосредственно из соотношений и следует, что при оценки для и совпадают. Итак, имеем окончательно

и

что завершает доказательство предельной теоремы Доп. IV.

ПРИЛОЖЕНИЕ 2. Таблицы p-квантилей распределения Вальда с=0,1

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)