Глава 14. ОЦЕНИВАНИЕ НЕИЗВЕСТНЫХ ХАРАКТЕРИСТИК

14.1. ОЦЕНИВАНИЕ В УСЛОВИЯХ НЕПАРАМЕТРИЧЕСКОЙ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

14.1.1. Постановка задач.

Наблюдается реализация исследуемого случайного процесса. Результат наблюдения представляется в виде однородной независимой выборки фиксированного размера . Плотность вероятности каждого выборочного значения принадлежит непараметрическому семейству . Один вид задач состоит в оценивании неизвестных числовых характеристик распределения вероятностей, другой — в оценивании неизвестных функции распределения и плотности . Решение указанных задач представляется статистиками — функциями выборочных значений, формируемыми в условиях непараметрической априорной неопределенности на эвристической основе с п. 13.7.4).

Критериями качества непараметрических оценок (алгоритмов оценивания) являются несмещенность [см. (12.35)], асимптотическая несмещенность [см. (12.35 а)], относительная эффективность [см. (12.36 а, б)]. Как правило, оценки, используемые на практике, должны быть состоятельными.

Оценка неизвестной числовой характеристики О распределения называется состоятельной, если

т. е. если она сходится по вероятности к оцениваемой величине при неограниченном увеличении размера выборки [см. (3.93)]. Ясно, что требование состоятельности оправдывает затраты, связанные с накоплением данных (увеличением размера выборки). По критерию состоятельности оценка величины не определяется единственным образом.

14.1.2. Непараметрические алгоритмы оценивания моментов распределения.

Пусть — однородная независимая выборка, принадлежащая распределению с плотностью Выборочным моментом порядка называют среднее арифметическое степеней выборочных значений

Из закона больших чисел (см. п. 3.4.3) следует, что выборочный момент сходится по вероятности к моменту распределения [см. (2.20)]. Достаточным условием применимости закона больших чисел в рассматриваемом случае является существование конечного момента распределения порядка

Следует подчеркнуть, что выборочные моменты являются случайными величинами (статистиками), в то время как моменты распределения — постоянными числами. Так как

то выборочный момент порядка является состоятельной оценкой момента распределения:

Наряду со статистикой (14.2) рассматривают центральный выборочный момент порядка

который представляет состоятельную оценку центрального момента порядка распределения

так как при условии

При соответствующих ограничениях, формулируемых в центральной предельной теореме (см. п. 3.4.4), выборочные моменты (14.2) и (14.5), как суммы независимых случайных величин, асимптотически нормальны при .

14.1.3. Выборочное среднее.

В соответствии с (14.2) при выборочный момент первого порядка (или выборочное среднее) равен среднему арифметическому выборочных значений, т. е.

Выборочное среднее характеризует расположение однородной независимой выборка на действительной оси. Среднее значений выборочного среднего

(14.9)

т. е. совпадает при любом с априорным средним

Таким образом, выборочное среднее является несмещенной, состоятельной оценкой среднего значения распределения, представляет собой статистический аналог априорного среднего а и может использоваться в качестве оценки последнего . Дисперсия выборочного среднего при

так как дисперсия суммы независимых случайных величин равна сумме дисперсий слагаемых.

14.1.4. Выборочная дисперсия.

В соответствии с (14.5) при центральный выборочный момент второго порядка (или выборочная дисперсия)

(14.11)

Выборочная дисперсия характеризует рассеяние выборочных значений относительно выборочного среднего, является статистическим аналогом априорной дисперсии и может использоваться в качестве оценки последней

В соответствии с п. 14.1.2 выборочная дисперсия представляет собой состоятельную оценку дисперсии распределения. Однако состоятельности оценки необязательно сопутствует ее несмещенность.

Выборочная дисперсия — смещенная оценка дисперсии, так как

Поскольку смещение причем при , то выборочная дисперсия — асимптотически несмещенная оценка дисперсии.

Нетрудно устранить несмещенность при любом конечном размере выборки, выбирая в качестве оценки дисперсии статистику

(14.13)

Статистику иногда называют исправленной выборочной дисперсией.

14.1.5. Вычислительный метод Монте-Карло.

Если — однородная независимая выборка из распределения с плотностью , то согласно закону больших чисел

(14.14)

где — заданная функция, .

Соотношение (14.14) используется для приближенного вычисления интегралов (метод Монте-Карло или метод статистического эксперимента). Пусть, например, необходимо вычислить интеграл , который не выражается через элементарные функции. Если имеется таблица случайных чисел, распределенных равномерно на интервале (0, 1), то, извлекая из этой таблицы выборку можно приближенно оценить интеграл по формуле

(14.15 а)

Так как такая оценка состоятельная, то для произвольных всегда найдется такое число , что при размере выборки

(14.15 б)

14.1.6. Оценка вектора средних и ковариационной матрицы.

Пусть — независимые выборочные векторы из N-мерного распределения, принадлежащего непараметрическому семейству. Статистики

(14.16)

называют выборочным вектором средних и выборочной ковариационной матрицей соответственно.

Выборочный вектор средних , представляет несмещенную состоятельную оценку априорного вектора средних а. Выборочная ковариационная матрица К — состоятельная оценка априорной ковариационной матрицы К, но эта оценка — смешанная, причем

(14.17 а)

Несмещенной оценкой ковариационной матрицы К является статистика

14.1.7. Эмпирическая функция распределения.

Рассмотрим, вновь однородную независимую выборку из распределения принадлежащего непараметрическому семейству. Пусть — ее вариационный ряд (см. п. 13.8.3). Обозначим через — число выборочных значений (порядковых статистик), не превосходящих заданного порога Статистику

(14.18)

где — функция единичного скачка, называют эмпирической функцией распределения. Она представляет статистический аналог функции распределения но для каждого фиксированного значения является случайной величиной. На рис. 14.1 изображена одна из возможных реализаций статистики (14.18).

Эмпирическую функцию распределения можно принять за непараметрическую оценку функции распределения из которой извлечена выборка

Рис. 14.1. Эмпирическая функция распределения

Максимальная ошибка оценивания

(14.19)

Случайная величина сходится при по вероятности к нулю в каждой точке непрерывности функции распределения . В этом смысле статистика является состоятельной оценкой функции распределения

14.1.8. Непараметричекие оценки плотности вероятности.

Дифференцируя формально обе части формулы (14.18) по , получаем оценку плотности вероятности

(14.20)

Функция (14.20) обращается в бесконечность при и равна нулю при остальных значениях аргумента . Из (14.20) заменой дельта-функции «сглаженными» функциями получаем оценку плотности в виде

где — произвольная весовая функция, которая должна удовлетворять следующим ограничениям:

(14.22 а)

Если, кроме того,

(14.22 б)

то оценка (14.21) сходится к в среднеквадратическом, если функция непрерывна в точке

Указанным условиям удовлетворяет, например, функция

Оценка (14.21) обобщается на многомерный случай. Пусть — независимая векторная выборка, принадлежащая многомерному распределению с плотностью . Для оценки этой плотности можно использовать следующую статистику:

(14.24)

где элемент выборочного вектора принадлежащего распределению

Если функция удовлетворяет условиям (14.22 а-в) и, кроме того,

(14.25 а)

то

(14.26)

если функция непрерывная в точке