§ 13. Оценивание параметров плотности вероятностей методом максимума правдоподобия
В этом параграфе, используя метод максимума правдоподобия, мы найдем оценки параметров распределения вероятностей для закона
и параметров плотности нормального закона
При этом окажется, что для закона Р (я параметры равны если
где число векторов выборки, у которых координата принимает значение
Оценки параметров нормального закона, вычисленные методом максимума правдоподобия, равны
Таким образом, получаем оценку нормального закона
1°. Оценим параметры закона Для этого составим функцию правдоподобия:
где значение координаты вектора выборки.
Изменив порядок сомножителей, получим
Перейдем теперь к функции
Рассмотрим величину
Она может быть представлена в виде
где число векторов выборки, у которых координата принимает значение
Таким образом,
Найдем теперь максимум по функции (3.60) при ограничениях
Для этого воспользуемся методом множителей Лагранжа. Составим функцию Лагранжа:
где множители Лагранжа.
Вектор доставляющий максимум функции определяется из системы уравнений
Из (3.62), учитывая условия нормировки
получим
Заметим, что здесь оценка максимума правдоподобия оказалась несмещенной.
2°. Оценим теперь параметры нормального закона:
Составим функцию правдоподобия:
где обозначено
Найдем ее логарифм:
Запишем
Здесь использовано соотношение
Из уравнений (3.63) и (3.64) находим
Оценка параметров ковариационной матрицы является смещенной.