Часть II. АНАЛИЗ ДАННЫХ С ПРОПУСКАМИ НА ОСНОВЕ ФУНКЦИИ ПРАВДОПОДОБИЯ

Глава 5. ТЕОРИЯ ВЫВОДОВ, ОСНОВАННЫХ НА ПРИМЕНЕНИИ ФУНКЦИИ ПРАВДОПОДОБИЯ

5.1. ПОЛНЫЕ ДАННЫЕ

Многие методы оценивания для неполных данных можно интерпретировать как методы максимизации функции правдоподобия при определенных предположениях относительно модели. В этом разделе мы обсудим основы теории оценивания методом максимального правдоподобия и опишем ее приложение к ситуации неполных данных. Сначала мы рассмотрим оценки максимального правдоподобия для полных наборов данных, приводя только основные результаты и опуская вычислительные подробности. Более полное изложение этих вопросов приведено, например, в [Сох and Hinkley (1974)].

Обозначим данные через может быть скаляром, вектором или матрицей в зависимости от контекста. Предполагается, что данные порождаются согласно модели, описываемой функцией распределения или плотностью зависящей от скалярного или векторного параметра При заданных модели и параметре является функцией Y, значениями которой служат вероятность значений или плотность в К

Определение 5.1. Функцией правдоподобия называется любая функция от пропорциональная при фиксированном У.

Заметим, что функция правдоподобия, или, короче, правдоподобие, представляет собой функцию параметра при фиксированном У, в то время как вероятность или плотность является функцией У при фиксированном . В обоих случаях мы пишем первым аргумент функции. Несколько неточно говорить об одной функции правдоподобия, поскольку существует множество функций правдоподобия, отличающихся друг от друга на произвольный множитель, не зависящий от

Определение 5.2. Логарифмической функцией правдоподобия называют натуральный логарифм функции правдоподобия

Во многих задачах работать с логарифмом правдоподобия удобнее, чем с правдоподобием.

Пример 5.1. Одномерная нормальная выборка. Совместная плотность независимых одинаково распределенных наблюдений из нормальной популяции со средним и дисперсией равна:

При фиксированном У логарифм правдоподобия равен:

или, опуская аддитивную постоянную,

что следует рассматривать как функцию от при фиксированных наблюденных данных

Пример 5.2. Экспоненциальная выборка. Совместная плотность независимых и одинаково распределенных наблюдений из экспоненциального распределения равна:

Следовательно, логарифм правдоподобия, рассматриваемый как функция в при фиксированных наблюденных данных Y, равен:

Пример 5.3. Пуассоновская выборка. Вероятность независимых наблюдений из пуассоновского распределения со средним в равна:

где Поэтому логарифм правдоподобия от в равен:

Пример 5.4. Многомерная нормальная выборка. Пусть где матрица, представляющая выборку из независимых и одинаково распределенных наблюдений из

многомерного нормального распределения с вектором средних и ковариационной матрицей Значит, это значение признака наблюдения выборки. Плотность У равна:

где обозначает детерминант — транспонирование матрицы или вектора, вектор значений признаков наблюдения строка . Правдоподобием от будет это выражение, рассматриваемое как функция от и при фиксированной наблюденной .

Предположим, что рассматриваются два возможных значения при фиксированных данных и Пусть, кроме того, Можно сказать, что полученные данные У в два раза правдоподобнее при в, чем при Рассмотрим более общую ситуацию. Пусть такое значение, что при любом возможном 0. Тогда при наблюдаемые данные У по меньшей мере так же правдоподобны, как при любом другом возможном значении 0. В определенном смысле значение, лучше всего соответствующее данным. Это довольно естественно побуждает искать значение 0, максимизирующее функцию правдоподобия. Более формальное обоснование такого выбора приведено в разделе 5.2.

Определение 5.3. Оценкой максимального правдоподобия (ОМП, МП-оценкой) называется значение в, которое максимизирует правдоподобие или, что эквивалентно, логарифм правдоподобия

Сформулированное определение подразумевает возможность существования более одной ОМП. Тем не менее во многих важных моделях ОМП единственна, и, кроме того, функция правдоподобия дифференцируема и ограничена сверху. В таких случаях МП-оценку можно найти, приравнивая производную правдоподобия (или логарифма правдоподобия) по к нулю и решая получаемое уравнение относительно 0. Уравнение

называют уравнением максимального правдоподобия, а производную логарифма правдоподобия функцией вкладов (score function). Обозначим через число компонент в 0. Уравнение максимального правдоподобия, по существу, — это система из уравнений, определяемых дифференцированием по всем компонентам 0.

Пример 5.5. Экспоненциальная выборка (продолжение примера 5.2). Логарифм правдоподобия для выборки из экспоненциального

распределения определяется выражением (5.2). Дифференцирование по в приводит к уравнению максимального правдоподобия

Решая его относительно в, получаем среднее выборки

Пример 5.6. Пуассоновская выборка (продолжение примера 5.3). Логарифм правдоподобия для пуассоновской выборки определяется выражением (5.3). Дифференцирование по в позволяет получить уравненне

Корнем уравнения является выборочное среднее.

Пример 5.7. Одномерная нормальная выборка (продолжение примера 5.1). Согласно (5.1) логарифм правдоподобия для выборки объема из нормального распределения равен:

где выборочная дисперсия знаменателем а не т. е. без поправки на число степеней свободы). Дифференцируя по и приравнивая производную нулю при получаем

что приводит к Дифференцируя по и приравнивая производную нулю в получаем

что приводит к так как Итак, мы получим МП-оценку:

Пример 5.8. Многомерная нормальная выборка (продолжение примера 5.4). Стандартные вычисления из многомерного анализа (см., например, [Wilks (1963); Rao (1972); Anderson (1965)]) показывают, что максимизация (5.4) по и приводит к

где — вектор-строка выборочных средних, выборочная ковариационная -матрица с элементом

Свойство 5.1. Пусть взаимнооднозначная функция параметра в. Тогда ОМП для равна значению функции, взятому в ОМП в параметра в.

Свойство 5.1 играет важную роль во многих задачах. Оно тривиально вытекает из того, что функцией правдоподобия является достигающая максимума при

Пример 5.9. Условное распределение для двумерного нормального распределения. Данные образованы независимыми и одинаково распределенными наблюдениями из двумерного нормального распределения со средним и ковариационной матрицей

Как и в примере 5.4, МП-оценки равны:

где выборочные средние, выборочная ковариационная матрица со знаменателем Из свойств двумерного нормального распределения следует, что условное распределение при данном нормально со средним и дисперсией где

соответственно коэффициент регрессии и остаточная дисперсия для регрессии на По свойству 5.1 ОМП этих величин равны:

оценке наименьших квадратов коэффициента регрессии, и

где остаточной сумме квадратов от регрессии для выборочных значений, деленной на

ОМП можно вывести и непосредственно по правдоподобию для условного распределения при данном Как показано в следующем примере, связь между оцениванием нормальной линейной регрессионной модели методом максимального правдоподобия и методом наименьших квадратов оказывается более общей.

Пример 5.10. Множественная линейная регрессия. Данные состоят из наблюдений над зависимой переменной предсказывающими признаками. Мы предполагаем, что при заданном значения независимо распределены по нормальному закону со средним и дисперсией Логарифм правдоподобия от при фиксированных данных равен

Максимизируя это выражение по , мы обнаружим, что ОМП для есть оценки наименьших квадратов свободного члена и коэффициентов регрессии. МП-оценка равна где остаточная сумма квадратов от наименьшей квадратической регрессии. Значит, как и ранее, оценка максимального правдоподобия не учитывает потерю степеней свободы при оценивании параметров положения.