Задачи

1. Пусть величина x распределена экспоненциальному закону:

и в остальных случаях.

а) Изобразите зависимость от х для постоянного значения параметра

б) Изобразите зависимость от для постоянного значения х.

в) Предположим, что независимо получено выборок в соответствии с Покажите, что оценка по максимуму правдоподобия для 0 определяется выражением

2. Пусть величина х распределена равномерно:

в остальных случаях.

а) Изобразите зависимость от 0 для некоторого произвольного значения

б) Предположим, что независимо получено выборок в соответствии с . Покажите, что оценка по максимуму правдоподобия для есть

3. Пусть выборки получаются последовательным независимым выбором состояний природы а; с неизвестной вероятностью Пусть если состояние природы для выборки есть в противном случае. Покажите, что

и что оценка по максимуму правдоподобия для есть

4. Пусть х есть бинарный вектор с многомерным распределением Бернулли

где — неизвестный параметрический вектор, вероятность того, что Покажите, что оценка по максимуму правдоподобия для 0 есть

5. Пусть где известно, а неизвестна. Покажите, что оценка по максимуму правдоподобия для определяется выражением

последовательно выполняя следующие действия:

а) Докажите матричное тождество где след есть сумма диагональных элементов матрицы А,

б) Покажите, что функцию правдоподобия можно записать в виде

в) Полагая, что суть собственные значения матрицы А, покажите, что это приводит к выражению

г) Завершите доказательство, показав, что максимум правдоподобия достигается при

в. Предположим, что где — общая ковариационная матрица для всех с классов. Пусть выборок извлекаются обычным путем, и пусть — их индексы, т. е. если состояние природы для х было .

а) Покажите, что

б) Используя результаты для выборок из одного нормально распределенного семейства, покажите, что оценки по максимуму правдоподобия параметров

определяются выражениями

и

7. Рассмотрите задачу обучения при восстановлении среднего значения одномерного нормального распределения. Пусть есть догматизм, и представим, что образуется посредством усреднения вымышленных выборок Покажите, что выражения (23) и (24) для и а дают

и

Воспользуйтесь полученным результатом для интерпретации априорной плотности

8. Докажите матричное тождество

где А и В — невырожденные матрицы одного порядка. Воспользуйтесь полученным результатом, чтобы доказать, что соотношения (31) и (32) на самом деле следуют из (28) и (29).

9. Пусть выборочное среднее и выборочная ковариационная матрица для множества выборок определяются выражениями

и

Покажите, что влияние на эти величины добавления новой выборки можно выразить рекуррентными формулами

и

10. Выражения из задачи 9 позволяют вводить поправки в оценки ковариационных матриц. Однако нередко представляет интерес обратная ковариационная матрица, а ее обращение отнимает много времени. Доказав матричное тождество

и используя результаты, полученные в задаче 9, покажите, что

11. В данной задаче ставится цельполучить байесовский классификатор для случая многомерного распределения Бернулли. Как всегда, мы имеем дело с каждым классом в отдельности, истолковывая как среднее Пусть условная вероятность для данного класса определяется выражением

и пусть есть множество выборок независимо извлекаемых в соответствии с этим вероятностным распределением.

а) Полагая, что есть сумма выборок, покажите, что

б) Полагая, что распределение 0 равномерно, с учетом тождества

покажите, что

Изобразите эту плотность для случая и двух значений получаемых вероятностей для

в) Посредством интегрирования по 0 произведения получите требуемую условную вероятность

Если считать, что получается подстановкой оценки 0 в на место 0, то что является эффективной байесовской оценкой для 0?

12. Исходя из данных табл. 3.1, покажите, что оценка по максимуму правдоподобия для параметра при распределении Релея определяется выражением

13. Исходя из данных табл. 3.1, покажите, что оценка по максимуму правдоподобия для параметра при распределении Максвелла определяется выражением

14. Исходя из данных табл. 3.1, покажите, что оценка по максимуму правдоподобия для параметра при полиномиальном распределении определяется выражением

где вектор — среднее для выборок

15. Рассмотрим случай двух классов, описанный в задаче 16 гл. 2, когда известно, что вероятность ошибки стремится к нулю при стремлении размерности d к бесконечности.

а) Предположим, что извлекается одна выборка из класса 1. Покажите, что оценка по максимуму правдоподобия для определяется выражением

б) Опишите поведение при стремлении d к бесконечности. Объясните, почему, если допустить беспредельное увеличение числа признаков, можно получить безошибочный классификатор даже при наличии только одной выборки всего из одного класса.