Задачи

1. Пусть условные плотности для одномерной задачи и двух классов заданы распределением Коши:

Считая, что покажите, что при

Набросайте график для случая Как ведет себя при

2. Используя условные плотности из задачи 1 и полагая априорные вероятности равными, покажите, что минимальная вероятность ошибки определяется выражением

Рассмотрите это выражение как функцию величины

3. Рассмотрите следующее решающее правило для одномерной задачи и двух классов: принимать решение в случае, если в противном случае принимать решение Покажите, что при использовании этого правила вероятность ошибки определяется выражением

Покажите посредством дифференцирования, что для получения наименьшего значения Р (ошибка) необходимо, чтобы величина 0 удовлетворяла выражению

Проверьте, однозначно ли определяется этим выражением величина . Приведите пример, когда ветчина 0, удовлетворяющая данному уравнению, на самом деле соответствует максимальной вероятности ошибки.

4. Пусть сотах есть состояние природы, для которого для любого Покажите, что

Покажите также, что в случае принятия решения по правилу минимального уровня ошибки средняя вероятность ошибки определяется выражением

На основании полученных результатов покажите, что Р (ошибка) Опишите случай, при котором

5. Для неотрицательных чисел а и b покажите, что На основании этого покажите, что для байесовского классификатора на два класса уровень ошибки должен удовлетворять требованию

где — так называемый коэффициент Бхаттачария, равный

в. Во многих задачах классификации образов допускается выбор: или отнести данный образ к одному из с классов, или отказаться принять решение. Такой отказ вполне допустим, если он не обходится слишком дорого. Пусть

где — потери, возникающие из-за выбора действия, состоявшего в отказе от принятия решения, — потери из-за ошибки, связанной с подменой класса. Покажите, что минимальный риск достигается, если принять решение в случае для всех случае с отбрасыванием прочих решений. Что произойдет в случае Что произойдет в случае

7. Пользуясь результатами, полученными при решении задачи 6, покажите, что следующие разделяющие функции оптимальны:

Изобразите эти разделяющие функции и области решений для одномерного случая и двух классов при Опишите качественно, что произойдет при возрастании от 0 до 1.

8. Предположим, что детерминированную решающую функцию мы заменим рандоминизированным правилом, т. е. вероятностью принятия действия а, - при наблюдаемом значении х. Покажите, что риск в этом случае определяется выражением

Покажите, кроме того, что R можно минимизировать, выбирая для действия связанного с наименьшим условным риском т. е. что рандомизация в данном случае никакой выгоды не дает.

9. Рассмотрим многомерную нормальную плотность, для которой Покажите, что

Опишите контуры постоянной плотности; запишите выражение для махала-нобисова расстояния от х до

10. Пусть для одномерной задачи и двух классов при Покажите, что минимальная вероятность, ошибки определяется выражением

где Рассмотрите неравенство

Покажите, что стремится к нулю при стремлении к бесконечности.

11. Пусть для -мерной задачи и двух классов при Покажите, что минимальная вероятность ошибки определяется выражением

где Пусть Используя неравенство из задачи 10, покажите, что стремится к нулю при стремлении а к бесконечности. Выразите смысл этого результата словами.

12. Пусть для -мерной задачи и двух классов с произвольными априорными вероятностями; рассмотрим махаланобисово расстояние

а) Покажите, что градиент величины определяется выражением

б) Покажите, что указывает одно и то же направление вдоль любой прямой, проходящей через

в) Покажите, что указывают противоположные направления вдоль прямой, соединяющей и

г) Покажите, что оптимальная разделяющая гиперплоскость касательна к гиперэллипсоидам постоянной плотности распределения в точке пересечения разделяющей гиперплоскости с прямой, проходящей через и

13. В предположении, что покажите, что в общем случае разделяющая функция, дающая минимум риска для независимого бинарного случая, описанного в разд. 2.10, определяется выражением где w неизменна, а есть

14. Пусть компоненты вектора бинарны (1 или 0). Пусть также есть априорная вероятность состояния природы , и пусть

с компонентами статистически независимыми для всех

Покажите, что минимальная вероятность ошибки получается при использовании следующего решающего правила: принять решение , если для всех , где

15. Пусть компоненты вектора тернарны (1, 0 или —1) с вероятностями

причем компоненты статистически независимы для всех

Покажите, что можно получить решающее правило с минимальной вероятностью ошибки, используя разделяющие функции представляющие собой квадратичные функции компонент Попробуйте обобщить результаты решения задач 14 и 15.

16. Пусть х распределен так же, как в задаче нечетно, пусть также

а) Покажите, что решающее правило по минимуму уровня ошибки при этом имеет вид

принять решение если

б) Покажите, что минимальная вероятность ошибки определяется выражением

в) Чему равен предел при

г) Покажите, что стремится к нулю при (Это трудно выполнить без привлечения закона больших чисел. Вместе с тем важно почувствовать, почему это соотношение верно, и для тех, кто Этим интересуется, но не располагает временем для самостоятельного вывода, мы рекомендуем книгу В. Феллера «Введение в теорию вероятностей и ее приложения» (М., «Мир», 1967, т. I).