3.2. ОЦЕНКА ПО МАКСИМУМУ ПРАВДОПОДОБИЯ

3.2.1. ОБЩАЯ ИДЕЯ МЕТОДА

Предположим, что мы разбили множество выборок на классы, так что получено с классов выборок причем выборки в каждом классе получены независимо в соответствии с вероятностным законом . Предполагается, что плотность задана в известной параметрической форме и, следовательно, однозначно определяется вектором параметров Мы могли, например, получить распределение в котором компоненты составлены из компонент . Чтобы явно выразить зависимость от запишем в виде Задача состоит в использовании информации, получаемой из выборок, для удовлетворительной оценки векторов параметров

Для облегчения задачи предположим, что выборки, принадлежащие не содержат информации о если т. е. предполагается функциональная независимость параметров, принадлежащих разным классам. Это дает возможность иметь дело с каждым классом в отдельности и упростить обозначения, исключив индексы принадлежности классу. В результате получается с отдельных задач, формулируемых следующим образом: на основании множества независимо полученных выборок в соответствии с вероятностным законом оценить неизвестный параметрический вектор .

Предположим, что X содержит выборок: Так как выборки получены независимо, имеем

Рассматриваемая как функция от , плотность называется правдоподобием величины относительно данного множества выборок. Оценка по максимуму правдоподобия величины 0 есть по определению такая величина , при которой плотность максимальна (рис. 3.1).

Рис. 3.1. Оценка по максимуму правдоподобия для параметра

Интуитивно это означает, что в некотором смысле такое значение величины наилучшим образом соответствует реально наблюдаемым выборкам.

Для целей анализа обычно удобнее иметь дело с логарифмом правдоподобия, нежели с самой его величиной. Так как логарифм есть монотонно возрастающая функция, то максимуму логарифма правдоподобия и максимуму правдоподобия соответствует одна и та же величина . Если есть гладкая дифференцируемая функция , то определяется посредством обычных методов дифференциального исчисления. Пусть есть -компонентный вектор пусть также — оператор градиента,

и пусть функция логарифма правдоподобия

Тогда

и

Совокупность условий, необходимых для определения оценки по максимуму правдоподобия величины 0, может быть получена, таким образом, из решения системы уравнений

3.2.2. СЛУЧАЙ МНОГОМЕРНОГО НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ: НЕИЗВЕСТНО СРЕДНЕЕ ЗНАЧЕНИЕ

Для иллюстрации применения полученных результатов к конкретному случаю предположим, что выборки производятся из нормально распределенной совокупности со средним значением и ковариационной матрицей 2. Для простоты сначала рассмотрим случай, когда неизвестно только среднее значение. Тогда

и

Если отождествить то из уравнения (5) увидим, что оценка по максимуму правдоподобия для должна удовлетворять уравнению

После умножения на и преобразования получим

Этот результат весьма убедителен. Он свидетельствует о том, что оценка по максимуму правдоподобия при неизвестном среднем по совокупности в точности равна среднему арифметическому выборок — выборочному среднему. Если представить выборок геометрически в виде облака точек, то выборочное среднее будет центром этого облака. Помимо всего, выборочное среднее имеет ряд достоинств с точки зрения статистических свойств, в связи с чем эта

весьма наглядная оценка часто оказывается предпочтительнее, не говоря уже о том, что она представляет максимально правдоподобное решение.

3.2.3. ОБЩИЙ МНОГОМЕРНЫЙ НОРМАЛЬНЫЙ СЛУЧАЙ

В общем и более типичном многомерном нормальном случае неизвестны как среднее так и ковариационная матрица 2. Как раз эти неизвестные параметры и образуют компоненты параметрического вектора . Рассмотрим одномерный случай, приняв и Здесь имеем

и

Тогда уравнение (5) приводит к следующим условиям:

и

где — оценки по максимуму правдоподобия соответственно для и После подстановки и несложных преобразований получим следующие оценки по максимуму правдоподобия для

Хотя анализ многомерного случая в основном носит аналогичный характер, он значительно более трудоемок. Из литературы хорошо известно, что оценка по максимуму правдоподобия для

и дается выражениями

и

Таким образом, еще раз подтверждается, что оценка по максимуму правдоподобия для среднего значения вектора — это выборочное среднее. Оценка по максимуму правдоподобия для ковариационной матрицы — это среднее арифметическое матриц . Так как подлинная ковариационная матрица и есть ожидаемое значение матрицы то полученный результат также весьма естествен.