Задачи

1. Предположим, что x может принимать значения и что — смесь с биномиальных распределений

Предполагая, что априорные вероятности известны, объясните, почему эта смесь неидентифицируема, если Как изменится ответ, если априорные вероятности тоже неизвестны?

2. Пусть х — двоичный вектор и — смесь из с многомерных распределений Бернулли:

где

а) Покажите, что

б) Используя общее уравнение оценки по максимуму правдоподобия, покажите, что оценка по максимуму правдоподобия 0; для 0, должна удовлетворять

3. Рассмотрим одномерную нормальную смесь

Напишите программу для ЭВМ, которая использует общее уравнение максимального правдоподобия из п. 6.4.3 для итерационной оценки неизвестных средних, дисперсий и априорных вероятностей. Используя эту программу, найдите оценки по максимуму правдоподобия этих параметров для данных из табл. 6.1. (Ответ: )

4. Пусть — нормальная плотность смеси из с компонент с Используя результаты разд. 6.3, покажите, что оценка по максимуму правдоподобия для а? должна удовлетворять соотношению

где заданы уравнениями (15) и (17) соответственно.

5. Вывод уравнений для оценки по максимуму правдоподобия параметров плотности смеси был сделан при предположении, что параметры в каждой плотности компонент функционально независимы. Вместо этого предположим, что

где а — параметр, который появляется в некоторых плотностях компонент. Пусть I — логарифмическая функция правдоподобия для выборок. Покажите, что

где

6. Пусть где — общая матрица ковариаций для с плотностей компонент. Пусть элемент

а) Покажите, что

б) Используя этот результат и результат задачи 5, покажите, что оценка по максимуму правдоподобия для 2 должна удовлетворять

где оценки по максимуму правдоподобия, данные уравнениями (14) и (15) в тексте.

7. Покажите, что оценка по максимуму правдоподобия для априорной вероятности может быть равна нулю, рассмотрев следующий особый случай. Пусть . Так что — единственный неизвестный параметр плотности смеси

Покажите, что оценка по максимальному правдоподобию для равна нулю, если имеется одна выборка Каково значение если

8. Рассмотрим одномерную нормальную плотность смеси

в которой у всех компонент одиа и та же известная дисперсия Предположим, что средние настолько отдалены друг от друга по сравнению с а, что для всех х всеми, кроме одного, членами этой суммы можно пренебречь. Используя эвристические соображения, покажите, что значение

должно быть равно приблизительно с

когда число независимых выборок велико. Сравните его со значением, показанным на рис. 6.1.

9. Пусть - неизвестные параметры для плотностей компонент соответственно. Предположим, что первоначально статистически независимы, так что Покажите, что, после того как была получена одна выборка из плотности смеси, не может быть представлена в виде

если