6.2. МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

6.2.1. ФУНКЦИЯ ПРАВДОПОДОБИЯ И ЕЕ ЛОГАРИФМ

Данные могут быть представлены по-разному. Наиболее распространенными формами представления являются вектор данных и таблица частот. Вектор данных

составлен из наблюдений записанных в порядке их получения. (Каждое х, в свою очередь также может быть вектором. Например, может состоять из пары где — наблюдаемые характеристики (А и В) объекта Если значения наблюдений представляют собой целые числа и если порядок получения экспериментальных данных несуществен, то вектор данных может быть записан в компактной форме в виде таблицы частот [см. раздел 3.2.2]. При

одномерных наблюдениях таблица частот имеет следующий вид (аналогично выглядит таблица, если начальное значение наблюдений равно 0):

Как видно из таблицы, значение 6 наблюдалось раз максимальное значение наблюдений равно к, объем выборки составляет

Если данные являются реализацией непрерывной случайной переменной, наблюдения необходимо фиксировать с более высокой степенью точности. Например, данные могут быть представлены сгруппированной таблицей частот:

Здесь обозначает число наблюдений, попавших в интервал называется шириной интервала группировки. (В некоторых таблица ширина интервала группировки меняется в зависимости от [см. раздел 2.2.2].) В сгруппированных таблицах частот подобного типа часть информации теряется. Последствия потери информации, возникающие в процедурах оценивания, рассматриваются в разделе 6.5.

Правдоподобие и логарифмическое правдоподобие. Для нахождения оценки методом максимального правдоподобия необходимо прежде всего построить функцию правдоподобия [см. также разделы 3.5.4 и 4.13.1]. Для того чтобы понять, как это делать, рассмотрим сначала представление данных в векторной форме. Итак, предположим, что мы имеем выборку в виде одномерных наблюдений которые образуют вектор данных Будем считать, что наблюдаемый вектор является реализацией случайного вектора с некоторой функцией плотности распределения вероятности которую назовем функцией плотности выборки и обозначим

где неизвестные параметры, — «пространство параметров», т. е. множество значений, которые могут принимать неизвестные параметры, — известная функция. Функция правдоподобия для вектора данных х определяется как

где — произвольный коэффициент, зависящий от данных, но не зависящий от параметров Произвольный коэффициент в (6.2.4) может вызвать удивление у читателя, однако поскольку в контексте рассматриваемых проблем, как будет видно из дальнейшего, для нас важно лишь отношение при фиксированном векторе х, наличие коэффициента действительно становится несущественным. Он нужен лишь для упрощения вида функции правдоподобия и служит для устранения «неинформативных множителей» (т. е. не содержащих вектор параметров ).

Функция правдоподобия, таким образом, является функцией параметров . Еще раз подчеркнем, что для нас важно изменение значения этой функции при изменении значений Вектор данных х при этом остается неизменным. (В некотором смысле данная ситуация противоположна ситуации, связанной с вычислением вероятностей по известной ф.р., например, при нахождении доверительного интервала для х, где вектор параметров в известен и остается на протяжении всех расчетов фиксированным.)

Часто удобнее работать не с самой функцией правдоподобия, а с ее логарифмом (натуральным). Такая функция называется логарифмической функцией правдоподобия.

Простейшей и наиболее распространенной является ситуация, когда случайные величины независимы [см. II, раздел 6.6.2] и одинаково распределены (н.о.р.). Тогда п.р.в. выборки имеет вид

где — общая п.р.в. случайных переменных Ниже приводятся примеры построения функций правдоподобия н.о.р. случайных величин для: а) однопараметрической ситуации (примеры 6.2.1, 6.2.2, 6.2.3) и б) двухпараметрической ситуации (пример 6.2.4). В примере 6.2.5 строится двухпараметрическая функция плотности для зависимых наблюдений (цепь Маркова).

Пример 6.2.1. Функция правдоподобия для распределения Пуассона. Допустим, [см. раздел 1.4.2, п. 1] и имеют распределение Пуассона с параметром Выборочная п.р.в. (6.2.5) в этом случае принимает вид

Рис. 6.2.1. Функция правдоподобия в для данных из нормального распределения с параметрами [см. пример 6.2.2]

Рис. 6.2.2. Логарифм функции правдоподобия для данных из нормального распределения

Для построения функции правдоподобия в виде (6.2.4) естественно положить поскольку при этом ликвидируется несущественный для целей нашего анализа множитель Функция правдоподобия тогда будет равна:

График этой функции относительно в показан на рис 4.13.1.

Пример 6.2.2. Функция правдоподобия нормального распределения (дисперсия известна). Пусть случайная переменная X распределена по нормальному закону (с математическим ожиданием в и дисперсией 1). Тогда совместная п.р.в. выборки имеет вид

Функцию правдоподобия для данной выборки можно выбрать в виде

Поскольку

Рис. 6.2.3. (см. скан) Логарифм функции правдоподобия пример 6.2.3]

Рис. 6.2.4. (см. скан) Линии уровня логарифма функции правдоподобия из примера 6.2.4 (масштаб не выдержан)

функция правдоподобия окончательно может быть записана так:

График этой функции представлен на рис. 6.2.1, график логарифма функции правдоподобия

показан на рис. 6.2.2.

Пример 6.2.3. Функция правдоподобия нормального распределения (математическое ожидание известно). Если исходная случайная величина распределена по нормальному закону с нулевым математическим ожиданием и стандартным отклонением , то п.р.в. равна

выборки равная произведению индивидуальных п.р.в., имеет вид

Функцию правдоподобия для выборки опуская постоянный множитель тогда можно записать как

Рис. 6.2.5. Объемное изображение логарифма функции правдоподобия из примера 6.2.4

где , а ее логарифм — как

График функции (6.2.7) показан на рис. 6.2.3.

Пример 6.2.4. Двухпараметрическое нормальное распределение. Если X имеет нормальное распределение с математическим ожиданием и стандартным отклонением , то функция правдоподобия выборки пропорциональна

Подставляя вместо эквивалентное выражение где х обозначает среднее выборки, функцию правдоподобия можно записать в виде

где

Логарифм функции правдоподобия тогда равен:

где в целях простоты можно положить равной нулю. Другой вариант этого выражения может быть записан в терминах дисперсии

Например, если

то функция правдоподобия будет равна:

Грубое представление о форме графика логарифма функции правдоподобия можно получить с помощью расчета значений на сетке значений и построения соответствующих линий уровня (интерполяции на глаз). Такой способ наглядного представления показан на рис. 6.2.4; пространственный график поверхности логарифма функции правдоподобия представлен на рис. 6.2.5.

Пример 6.2.5. Марковская цепь. Рассмотрим последовательность «индикаторов» максимального уровня воды в реке в году по отношению к некоторому фиксированному уровню (норме). Так, если то максимальный уровень воды в году превышает норму, если то не превышает, Предположим, что являются реализациями случайных переменных образующих цепь Маркова [см. II, раздел 19.3] с матрицей вероятностей перехода, равной

Вероятность того, что равна

где обозначает число переходов в выборке из состояния в состояние j (i, j равно 0 или 1), Если, например, последовательность данных имеет вид

то существуют три перехода от 0 к 1 (обозначено 0 1), поэтому Аналогично Таким образом, в данном случае мы имеем следующую таблицу числа переходов

Рис. 6.2.6. (см. скан) Линии уровня функции правдоподобия

Вероятность (абсолютная) может быть вычислена на основе предельного стационарного распределения [см. II, раздел 19.6]

т. е.

Для приведенной выше последовательности при функция правдоподобия будет иметь вид

В другом примере с большим объемом выборки максимальный уровень реки фиксировался в течение 50 лет. Было отмечено 5 паводков. При этом в первом году превышения нормального уровня не отмечалось Таблица частот перехода имеет вид

Функция правдоподобия в этом случае будет равна:

Линии уровня поверхности, заданной этим уравнением, представлены на рис. 6.2.6; показаны линии уровня, соответствующие значениям функции (продолжение примера см. в примере 6.2.7).

Вычисление функции правдоподобия по таблице частот. Если данные выборки представлены в виде таблицы частот (6.2.1), то частоты можно считать реализациями случайных переменных совместное распределение которых полиномиальное [см. II, раздел 6.4.2]. Поэтому (6.2.5) следует заменить на

где п.р.в. X является общей п.р.в. для всех а именно . Поскольку нас интересует функция правдоподобия, комбинаторный множитель может быть опущен и в качестве функции правдоподобия можно взять величину, пропорциональную

Для дискретной случайной величины это выражение превращается в

что представляет собой очевидное обобщение (6.2.5) на случай таблицы частот. Например, в случае таблицы частот для распределения Пуассона с параметром функция правдоподобия (6.2.11) станет равной:

[ср. с примером 6.2.1]. На практике коэффициент опускается. Таким образом, функцию правдоподобия можно записать в виде

что полностью совпадает с функцией правдоподобия для данных, представленных в векторной форме [см. пример 6.2.1].

Если в исходном виде непрерывные случайные переменные группируются в таблицу частот, как в (6.2.2), то функция правдоподобия будет равна:

где — общая функция распределения вероятностей для

Затруднение, вызванные подобной группировкой, обсуждаются в разделе 6.5.2.