Решение некоторых задан к гл. 2

Решение задачи 2.2.1

1. Из (13) критерий отношения правдоподобия можно записать в виде

По гипотезе

поэтому можно произвести операцию свертки для отыскания

Для заданных конкретных плотностей проще перемножить характеристические функции

где

и

Тогда

Согласно гипотезе

так что

Подставив (2.2 и (2.3 в (2.1, получим

Заметим, что принимает только неотрицательные значения по обеим гипотезам, поэтому для в критерии нет необходимости.

Прежде всего предположим, что

или

где

Легко убедиться, что (2.5 справедливо также для При можно либо использовать предельный переход, либо вернуться к выражению для приведенному выше (2.2. В результате имеем

2. Согласно (2.14) основного текста

3. Для критерия Неймана—Пирсона порог находят путем вычисления

или

Таким образом, порог равен

Примечание. Как и в примерах 1-3 (стр.39-42), мы сначала свели критерий отношения правдоподобия к простейшей форме (2.5. Все вычисления ошибок производятся при помощи этой формулы, вычислять никогда не приходится.

Решение задачи 2.2.2.

1. Отношение правдоподобия равно

2. Дифференцируя логарифм получим

Таким образом, убывающая функция величины при и возрастающая функция при График дан на рисунке. Из рисунка видно, что имеется три возможные конфигурации областей решений.

а) Если то области решений имеют вид

б) Если области решений имеют

в) Если то оптимальный критерий всегда сводится к выбору

Заметим, что, вероятно, можно реализовать этот критерий либо при ввиду симметрии, либо при во избежание двойного порога в случае

б). Ясно, что критерий отношения правдоподобия всегда является однопороговым критерием, однако эквивалентное испытание достаточной статистики может потребовать нескольких порогов, как в случае б).

Решение задачи 2.2.5.

гауссова величина,

— также гауссова, где

1. Допустим, что К наблюдений являются статистически независимыми:

2. Из (2.1)

Следовательно, есть достаточная статистика. Обозначим ее значения через Допустим, что порог равен

Используя результаты, полученные в имеем

Пусть перегруппируем члены; (2.1 приобретает вид

За. Прежде чем вычислять и найдем функцию плотности Все величины распределены нормально с нулевыми средними и дисперсией а

Наша цель — найти

где — область, в которой Если положить то объем сферической оболочки в -мерном пространстве, имеющей радиус и толщину равен

(кликните для просмотра скана)

5. Минимаксный критерий требует, чтобы но Задаваясь получим

Критерий минимакса

Решение задачи 2.2.10

1. Информация, содержащаяся в наблюдении однородного пуассоновского процесса счета на интервале полностью определяется временами ожидания событий. Пусть таковыми будет ряд который обозначим через -мерный вектор Отношение правдоподобия тогда можно записать как

Если можно показать, что

или что совместная плотность времен ожидания при условии, что произойдет событий, независима от средней частости, то мы устанавливаем, что есть достаточная статистика.

Вспоминая, что указанные времена ожидания условно независимы и равномерно распределены на интервале и учитывая упорядочение (см., например, [30]), получим

2. Поскольку стоимости равны, решения желательно принимать по максимуму апостериорной вероятности, т. е. выбрать гипотезу, для которой апостериорная вероятность является наибольшей.

Это дает порог, равный 1:

Берем логарифм

3. Введем обозначение:

Решение задачи 2.2.15

Чтобы получить требуемый результат, перепишем это выражение в виде

и, проинтегрировав по частям, будем иметь

Ограничиться положительным X необходимо из-за первого члена. Интеграл во втором члене является положительным, поэтому

Для установления нижней границы, проинтегрируем второй член по частям:

где

Таким образом,

Последний член положителен, поэтому

Как показано на рис. 2.10 (стр. 52), верхняя и нижняя границы весьма близки при и практически совпадают при .

2. Для обобщения продолжим интегрирование по частям и получим ряд

или

Пусть

и

Чтобы использовать выражение для 0, данное в условиях задачи, рассмотрим

или

Из условий задачи

Сравнивая выражения для и 0, получим

Границу величины можно установить в виде

Следовательно,

Верхняя граница есть абсолютная величина члена разложена и ввиду того, что положительно, имеет такой же знак, что и данный член, что и является требуемым результатом.

Относительная ошибка

Решение задачи 2.2.17

1. Подставляя две плотности вероятностей, приведенные в условиях задачи, в (2.13), получим критерий отношения правдоподобия

или

где

Ради простоты допустим, что Аналогичное рассуждение следует для

2. Поскольку этот критерий зависит только от и , зададимся

Критерий имеет вид

Области решений в плоскости показаны на рисунке, где

Точные выражения для ошибок имеют вид

Выполнить интегрирование по этой области часто бывает затруднительно. Поскольку указанные два угла ограничивают линию точных решений, их можно использовать для ограничения вероятностей ошибок.

Нижнюю границу можно установить, используя линии

или

(Вспомним, что и определение на стр. 49.) В качестве верхней границы используем Это дает

Аналогично, для

Прежде чем использовать эти выражения, следует проверить, насколько близки друг к другу верхняя и нижняя границы. Это легко сделать для любых заданных

Решение задачи 2.3.2

1. Воспользуемся выражением (2.98):

Пусть

Тогда

Выпишем (2.1 в виде

Каждое отдельное войдет только в один интеграл. Желательно приписать его области где оно будет вносить наименьший вклад в Ясно, что это делается путем выбора наименьшего и отнесения к этой области. Это и является требуемыми результатом.

2. Теперь рассмотрим стоимости

Подставляя в (2.1, получим

или

Из (2.3 ясно, что выбор наибольшей эквивалентен выбору наименьшего

Примечание. В пункте 2 используется критерий максимума апостериорной вероятности. Рассматривая выражение для риска (2.98) при указанных выше стоимостях, видим, что Этот результат был показан для в выражении (2.109).

Решение задачи 2.3.3

1. Для минимизации как известно, необходимо выбрать гипотезу наибольшей апостериорной вероятностью

Поскольку гипотезы равновероятны, это эквивалентно выбору для которой вероятность

является наибольшей. Это, в свою очередь, эквивалентно выбору для которой

является наименьшим. Пространство решений и границы имеют вид

Решение задачи 2.3.5

1. Можно непосредственно использовать результаты, изложенные на стр. 59. Заметим, что гипотезы имеют в этой задаче индексы от 1 до 3, а не от 0 до 2, как на стр. 59:

Используя приведенные в задаче дисперсии и упрощая, получим

где

Аналогично,

Используя (2.103) — (2.105) и матрицу стоимостей, указанную в задаче, получим критерий

Используя (2.1 и (2.2) и полагая (2.3) можно свести к виду

Заметим, что для этого примера проще строить график областей решения в координатах

2. Общее выражение имеет вид

где — области решений, указанные на рисунке,

где

Заметим, что из симметрии следует, что

Итак,

3. Теперь положим Это соответствует условию отсутствия потерь (т. е. нулевой стоимости), когда приемник путает гипотезы Уравнения (2.4 — (2.6) обращаются в

Уравнения (2.7 и (2.8 предполагают критерий

и (2.9 всегда удовлетворяется со знаком равенства.

Критерий в (2.10 тождественен критерию, рассмотренному в задаче 2.2.17. Во всех случаях, когда путаница между двумя гипотезами не связана с потерями, задачу отыскания критерия можно свести от -гипотезной к -гипотезной

Решение задачи 2.4.2

Эта задача иллюстрирует идею воспроизводящей плотности.

1. Прежде всего вычислим моменты априорной плотности:

Напомним, что оценка по минимуму среднеквадратической ошибки до того, как сделаны какие-либо наблюдения, есть просто

2. Апостериорную плотность после одного наблюдения написать нетрудно:

Далее необходимо оценить

Подставляя (2.4 в (2.3 и упрощая, получим

где

Итак, апостериорная плотность имеет такую же форму, как и априорная плотность. Два параметра, которые определяют плотность точно, изменяются в результате наблюдения.

Оценку можно найти непосредственно или путем использования (2.1 и свойства воспроизведения. Получим

Величину находим в два этапа:

Внутреннее математическое ожидание можно оценить, используя (2.2:

Используя (2.4 и (2.7 в (2.6, получим

Указанная возможность отыскания и внутреннего математического ожидания путем простого исследования формы является основным преимуществом воспроизводящей плотности.

3. Этот результат можно получить методом индукции. Априорная плотность для второго наблюдения есть апостериорная плотность из первого наблюдения. Следовательно,

где

Продолжая рассуждения вплоть до наблюдений, получим требуемые результаты.

4. Дифференцируя апостериорную плотность вероятности, находим для одного наблюдения

Для наблюдений

Мы видим, что они практически равны при больших Решение задачи 2.4.3

1. По правилу Байеса

где

Это и есть требуемый результат. Заметим, что нет необходимости оценивать так как в наших целях вполне достаточно того факта, что данная плотность при интегрировании должна давать единицу.

2. Аналогично,

Это и есть требуемый результат. Настоящая задача еще раз иллюстрирует преимущество воспроизводящей плотности.

Решение задачи 2.4.9

1. Для испытания эффективности найдем

и проверим, выполняется ли (2.187):

Выражение (2.1 нельзя записать в форме

следовательно, эффективных оценок о не существует.

2. Теперь желательно оценить

Следовательно, данная оценка эффективна.

Решение задачи 2.4.12

1. Простейший путь решения данной задачи — это использовать матричную форму записи. Обозначим:

где

Поскольку и «2 — аддитивные независимые помехи, то

где

Логарифмируя (2.1, получим

Чтобы получить продифференцируем (2.2 и приравняем результат нулю:

Комбинируя (2.3 и (2.4, получим

Если существует, то

следовательно, оценки по максимуму правдоподобия являются несмещенными.

2. Для вычисления дисперсии необходимо сначала убедиться, что имеет форму, требуемую для эффективной оценки [см. (261) на стр. 90.] Уравнение (261) можно переписать в векторной форме:

Подставляя (2.5 и (2.6 в (2.7, получим

Таким образом,

и эта оценка является эффективной.

Во всех случаях, когда оценка эффективна, обычно бывает проще вычислять дисперсию, используя границу Крамера — Рао. Дифференцируя, получим

Для получения дисперсий найдем

Дисперсии являются диагональными членами.

3. Эффективность была доказана в п. 2.

Примечания. 1. Эту задачу можно также решить, используя свойство 6 (стр. 94). Такой способ требует несколько меньше алгебраических выкладок.

2. Если не существует, то задачу нельзя решить относительно а, которая является эффективной.

Решение задачи 2.4.27

1. Требуется доказать, что

Это не что иное как известная формула дифференцирования произведения двух функций в векторной записи:

Разделяя на две матрицы, получим

По определению оператора имеем

Аналогично,

Используя (2.3 и (2.4 в (2.2, получим (2.1.

2. Путем замещения В на х и А на В в (2.1 получим

Теперь В не является функцией х, поэтому первый член в (2.5 равен нулю. Во втором члене

Таким образом,

что и является требуемым результатом.

3. Произведя перемножение, получим

Для получения первой строки возьмем производную

Остальные строки получаются аналогичным образом, давая требуемый результат:

4. Этот результат был приведен в (2.6.

Решение задачи 2.4.28

1. Используя указание и результат задачи 2.4.27, имеем

Следовательно,

что и является требуемым результатом.

то, используя (2.7 в решении задачи 2.4.27, получим

Используя (2.2 в (2.1, получим требуемый результат:

3. Требуемый результат следует из (2.3 при Таким образом,

Решение задачи 2.5.1

1. Для построения критерия идеального наблюдателя сначала найдем критерий максимального правдоподобия в предположении, что все параметры известны. Подстановкой данных плотностей в (2.13) и логарифмированием получим

Введя оптимальный критерий можно записать в виде

Поскольку оптимальный критерий явно не зависит от равномерно наиболее мощный критерий существует. Заметим, что требовалось условие, чтобы Без этого условия нам был бы неизвестен знак коэффициента и нельзя было бы определить, какая область соответствует гипотезе То обстоятельство, что содержится в не является существенным, так как для получения требуемой мы варьируем величиной непосредственно.

Соответствующие плотности показаны на рисунке.

Если потребовать, чтобы то

При

и

2. Как было показано выше, равномерно наиболее мощный критерий существует.

3. Ответ по положителен, так что данный результат не требуется. Решение задачи 2.6.1

1. Из задачи 2.3.2 известно, что необходимо выбрать гипотезу которая минимизирует

Поскольку является общей для всех членов, эквивалентный критерий заключается в вычислении

и выборе наименьшего.

2. Согласно п. 2 задачи 2.3.2 можно вычислить

и выбрать наибольшую. Беря логарифм и исключая общие члены, получим следующий алгоритм: вычислить

и выбрать наибольшее.

Решение задачи 2.6.2

Правило решения сводится к следующему: найти гипотезу Ни которая минимизирует

или, что эквивалентно,

1. Минимальная размерность пространства решений никогда не превосходит Для отыскания минимальной размерности введем новое начало координат:

Вектор-средние в этой системе суть

Минимальная размерность пространства решений равна числу линейно независимых

Пример: при Имеется только один линейно независимый

Пример: при Теперь пространство решений является двумерный.

2. Согласно правилу решения выбираем гипотезу для которой лежит наиболее близко к принятому вектору.

Решение задачи 2.6.4

1. Характеристическая функция имеет вид

Интеграл равен единице, поэтому

Введем

Теперь

где собственное значение А. Собственные значения являются решениями уравнения

Поскольку - решения уравнения получаем

или

Поэтому, используя (2.3 в (2.2, а результат — в (2.1, получим

Это характеристическая функция распределения хи-квадрат степени [см. (2.406)].

3. Пусть

Тогда

Далее,

В гл. 4 будет показано, что эта плотность появляется при рассмотрении передачи сигналов по релеевским каналам с неравными энергиями.

Заметим, что некоторые из могут быть отрицательными, так как В может соответствовать в (2.389).

Решение задачи 2.6.7 Это общая гауссова задача:

Произведем преобразование координат так, чтобы стали некоррелированными. Для этого найдем собственные значения ковариационной матрицы

Найдем собственные векторы:

После нормировки

Аналогично,

Модальная матрица тогда примет вид

После преобразования

Чтобы максимизировать выберем причем на правлении минимального шума Рассмотрим частные случаи:

Выберем тогда

Выберем тогда

имеет одинаковое значение для всех противоположных сигналов.

4. Интуитивно кривая представляется правильной. Рассмотрим случай Это предполагает, что статистически независимы. Вследствие этого помеха имеет одинаковую энергию по всем направлениям сигналов и качество критерия должно быть минимальным.

Теперь рассмотрим случай Величины статистически независимы и Надлежащим выбором величин х и у можно сделать помеху ортогональной к сигналу, поэтому качество критерия должно быть максимальным:

Решение задачи 2.6.8

1. Можно найти необходимое условие существования атар, используя выражение (2.241):

Плотности вероятности имеют вид

и

Поэтому

Используя результаты задач 2.4.27 и 2.4.28, получим

Приравняв (2.1 нулю, имеем

или

или

2. Оценка будет эффективной, если

Это аналог (2.261) для случайной величины. Используя (2.2 в (2.1, получим

Следовательно, оценка является эффективной.

3. Поскольку оценка по максимуму апостериорной вероятности является эффективной, нам известно, что

где

Это выражение аналогично (2.260) для случайной величины:

Решение задачи 2.6.9.

1. Используя промежуточный результат задачи 2.6.8, имеем

Но

Поэтому

Если

то можно менять местами и

(формулы 2.397, 2.398)

Окончательно

Решение задачи 2.6.10

1. Согласно (2.369)

3. Так как все компоненты сигнала и помехи независимы, величины можно оценивать независимо.

4. Из изложенного на стр. 94—95 можно записать:

что и требовалось доказать.

Задачи такого типа будут встречаться часто. Результат (2.1 весьма важен.

Решение задачи 2.7.1

Для отыскания подставим данные плотности в (2.449):

где

или

Интеграл равен единице, так что

или

Решение задачи 2.7.2

1. Рассмотрим решение задачи 2.7.1 для случая, когда

Используя эти значения в формуле, полученной в задаче 2. 7. 1, имеем

Таким образом,

Дифференцируя еще раз, получим

2. Для отыскания границы вероятности ошибки можно нспол вать (2.473):

где определяется из условия

Величину можно определить путем решения уравнения

Произведя перегруппировку, имеем

что сводится к

Это квадратное уравнение, решением которого и является

3. При больших можно использовать (2.485) при значениях величин определенных выше.

Литература

(см. скан)

(см. скан)