6.3. ПРИМЕРЫ ПРИМЕНЕНИЯ МЕТОДА МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ В ОДНОПАРАМЕТРИЧЕСКОЙ СИТУАЦИИ

Пример 6.3.1. Распределение Бернулли. Вектор данных обозначим через , где если испытание оказалось «неудачным», и если испытание оказалось «удачным». Для случайной величины Х п.р.в. равна:

поэтому функция правдоподобия имеет вид

где — общее число удачных исходов в серии из испытаний; случайная величина в свою очередь является реализацией случайной величины, распределенной по биномиальному закону. Уравнение правдоподобия для этого примера следующее:

откуда находим решение, т. е. о.м.п. для :

Приближенное значение дисперсии оценки , рассчитанное по формуле (6.2.17а), равно

где распределено по биномиальному закону . С учетом этого предыдущее выражение равно

что в действительности в точности равно дисперсии 9. Оценкой дисперсии будет

Пример 6.3.2. Биномиальное распределение. Так называется распределение общего числа удачных исходов в серии из независимых испытаний Бернулли с вероятностью удачного исхода . Для случайной величины S п.р.в. равна:

После удаления множителя не зависящего от , п.р.в. совпадает с п.р.в. из предыдущего примера. В действительности это неудивительно, поскольку в примере является достаточной статистикой для 0. Процесс поиска о.м.п. здесь полностью повторяется. Итак, о.м.п. для данного примера будет равна:

При построении приближенного доверительного интервала, основанного на формуле (6.2.15), функция правдоподобия может быть записана в виде

где имеет биномиальное распределение с параметрами Тогда

и

Поскольку выражение (6.2.15) для сводится к

Для построения 95%-ного доверительного интервала для 0, как было рекомендовано в разделе 6.2.5, п. б), необходимо решить следующие неравенства:

Эти неравенства полностью совпадают с неравенствами, полученными в примере 4.7.1 при аппроксимации биномиального распределения нормальным.

Пример 6.3.3. Распределение Пуассона. Допустим, данные представлены в виде таблицы частот, т. е. известно, что повторяется раз, причем каждое наблюдение является реализацией случайной величины X с п.р.в.

Функция правдоподобия 0 пропорциональна

Опуская множитель функцию правдоподобия можно записать в виде

где обозначает общее число наблюдений, а есть среднее выборки. Далее находим

Таким образом, о.м.п. является корнем уравнения

откуда

Аналогично

где X — случайная переменная, порождаемая х, и

откуда с учетом того, что по формуле (6.2.15) приходим к

Для реализации метода, предложенного в разделе 6.2.5, б), необходимо решить неравенства

Отметим, что соответствующий 95%-ный доверительный интервал в точности совпадает с доверительным интервалом, построенным в примере 4.7.2 на основе аппроксимации пуассоновского распределения нормальным.

Математическое ожидание оценки , рассчитанное по формуле (6.2.16), равно , а ее дисперсия равна Для данного распределения это точное значение.

Пример 6.3.4. Геометрическое распределение. Обозначим через X число независимых испытаний в схеме Бернулли до первого «успеха» (включая его), вероятность «успеха» в одном испытании, как и прежде, будем обозначать через . Тогда

Для каждого значения обозначим через его частоту, т. е. число элементов выборки со значением Здесь k — максимальное наблюденное значение. Тогда функцию правдоподобия для можно записать как

откуда

и уравнение правдоподобия примет вид

Отсюда находим, что о.м.п. для будет равна:

Для данного примера расчет точного значения дисперсии оценки весьма затруднителен, поэтому здесь как раз уместно использование приближенной формулы. Для геометрического распределения, как легко проверить,

Поскольку , то

В соответствии с (6.2.15) дисперсия о.м.п. приближенно равна

а ее оценка —

Если нас интересует параметр а не сам параметр раздел 6.2.3], то функцию правдоподобия удобнее записать в виде

что приводит к о.м.п.

Смещение этой оценки для равно нулю, а приближение (6.2.15) ее выборочной дисперсии приводит к точному результату

Пример 6.3.5. Отрицательно биномиальное распределение Обозначим через X число независимых испытаний в схеме Бернулли до первых с «успехов», (частный случай, когда соответствует геометрическому распределению). Тогда [см. II, раздел 5.2.4]

Как и в предыдущем примере, легко найти о.м.п. для 0. Она равна:

с приближенной дисперсией

Пример 6.3.6. Выборка без возвращения из конечной совокупности. Этот пример характерен тем, что наблюдения здесь зависимы, а неизвестный параметр дискретен. Вектор данных представляет собой последовательность нулей и единиц; означает, что выбранный элемент совокупности «доброкачествен», а — что этот элемент «дефектен» (в последующем выбранный элемент удаляется из совокупности), Вся совокупность состоит из элементов — неслучайная переменная), число дефектных элементов во всей совокупности неизвестно и равно . Совместное распределение (случайная переменная, ее реализацию обозначаем через удобно определить в терминах и условной для при фиксированных Для Х п.р.в. равна:

а условная равна:

Совместная имеет вид

она может быть переписана как

где

Опуская неинформативные множители, функцию правдоподобия можно записать в виде

Поскольку в принимает только целочисленные значения, максимум не может быть найден с помощью дифференцирования. Он определяется неравенствами

которые приводят к оценке

где обозначает целую часть . Таким образом, приближенно

Формула выборочной дисперсии приводится в следующем примере.

Пример 6.3.7. Гипергеометрическое распределение. Вместо записи индивидуальных значений будем фиксировать лишь общее число дефектных элементов в выборке (объем выборки равен ). Распределение вероятностей хорошо известно [см. II, раздел 5.3],

Как видим, эта функция правдоподобия с точностью до совпадает с функцией правдоподобия из предыдущего примера (аналогичное соответствие можно видеть и в примерах 6.3.1, 6.3.2).

Выборочную дисперсию нельзя найти методами приближения, описанными в разделе 6.2.5, поскольку здесь параметрическое множество дискретно. Непосредственный расчет дисперсии оценки

которая, кстати, является несмещенной, приводит к результату

Пример 6.3.8. Определение плотности распространения микроорганизмов методом разбавления. Применение метода Ньютона. Один из методов оценивания плотности распространения невидимых микроорганизмов в воде заключается в следующем. Производится проб одинакового объема исследуемой воды. Каждая проба помещается в благоприятную среду, в которой вырастает до видимых размеров колония микроорганизмов, если хотя бы один такой микроорганизм присутствует в пробе. Так определяется наличие или отсутствие микроорганизмов в пробе. Опыты проводятся для неразбавленной воды для двукратно разбавленной , а также для четырехкратно разбавленной . Разбавление производится стерильной водой. Допустим, было произведено проб, каждая объемом причем везде были обнаружены микроорганизмы. При двукратном разбавлении в каждом объеме раствора в двух случаях не было обнаружено микроорганизмов, а в трех их обнаружили. При четырехкратном разбавлении лишь в одном объеме раствора было замечено наличие микроорганизмов. Таким образом, мы имеем следующую таблицу:

Обозначим через в плотность распространения микроорганизмов в исследуемой воде (число организмов в . В качестве вероятностной модели распределения микроорганизмов естественно взять плотность распределения Пуассона, при которой число микроорганизмов в пробы является случайной переменной, распределенной по закону Пуассона с параметром Таким образом, вероятность того, что в пробе не будет микроорганизмов равна а вероятность, что они будут обнаружены, равна Число проб с необнаруженными микроорганизмами в выборке из 5 проб подчиняется биномиальному распределению с параметрами где . В двукратно разбавленных пробах необходимо заменить на а в четырехкратно разбавленных — на Вероятность отсутствия микроорганизмов в неразбавленных, двукратно и четырехкратно разбавленных пробах соответственно равна:

где

Таким образом, если опустить неинформативный множитель, функция правдоподобия в для наших данных будет иметь вид

или в терминах

Найдем производную

Приравнивая ее к нулю, приходим к уравнению правдоподобия. Несколько вычислений производной позволяют заключить, что корень лежит между 0,60 и 0,61. Таким образом, в качестве первого приближения можно взять . Более точное значение корня уравнения правдоподобия можно получить, воспользовавшись итеративным методом Ньютона, по которому

В качестве оценки берем где задается выражением (6.2.15) и определяет приближенную дисперсию о.м.п. Тогда

Метод Ньютона дает достаточно высокую точность решения уравнений правдоподобия.

Выражение для нашего примера было выписано выше. Нетрудно показать, что или

Вычисления по методу Ньютона приводят к следующим результатам:

Последнее приближение достаточно точно, его и возьмем в качестве корня уравнения правдоподобия. Итак, о.м.п. параметра равна 0,6031. Для построения 95%-ного доверительного интервала, как следует из (6.2.16), необходимо решить уравнения

где

Таким образом, эти уравнения сводятся к

его корнями являются

Поэтому 95%-ным доверительным интервалом для будет (0,355, 0,760).

Оценка для находится из соотношения откуда с 95%-ным доверительным интервалом (1,10, 4,14).

Можно было бы воспользоваться более грубым методом построения доверительного интервала [см. раздел 6.2.5, п. г)], который основывается на том, что имеет приближенно нормальное распределение с выборочной дисперсией, равной Поэтому доверительным интервалом для будет т. е. (0,38, 0,82). Соответствующий интервал для есть (0,79, 3,87).

При построении доверительного интервала для можно было бы учесть, что выборочная дисперсия для равна выборочной дисперсии для равной 0,0126. Из этих соображений приближенным 95%-ным доверительным интервалом для будет (0,56, 3,48).

Пример 6.3.9. Нерегулярные случаи, а) Граница равномерного распределения. Если случайная величина X распределена равномерно на интервале , то ее п.р.в. имеет вид

Функция правдоподобия для данных равна:

т. е.

где обозначает максимальное (минимальное) значение среди наблюдений. Тогда значение , максимизирующее функцию правдоподобия, равно . Заметим, что здесь в не является решением уравнения правдоподобия

б) Оценивание параметра сдвига экспоненциального распределения. В этом случае п.р.в. равна:

а функция правдоподобия имеет вид

где обозначает минимальное из наблюдений. Здесь, как и в предыдущем примере, о.м.п. находится не путем дифференцирования и решения уравнения правдоподобия, а на основе непосредственного анализа функции правдоподобия. Легко видеть, что о.м.п. равна

Формулы для вычисления приближенного значения выборочной дисперсии о.м.п., представленные в разделе 6.2.2, в нерегулярном случае неприменимы. Выборочные свойства о.м.п. теперь должны изучаться непосредственно. Так, в пункте а) о.м.п. имеет математическое ожидание, равное и дисперсию за оценку последней можно взять .