§ 116. Основные понятия теории оценок

Для каждой вероятностной характеристики существует много различных возможных оценок. Так, например, формула (11.5) позволяет выразить дисперсию нормально распределенной случайной величины через любой ее центральный момент четного порядка. Аналогичную формулу можно вывести для абсолютного центрального момента нечетного порядка. Заменяя в этих формулах моменты средними арифметическими значениями соответствующих функций, вычисленными по результатам опытов, получим бесчисленное множество различных оценок для дисперсии нормально распределенной случайной величины. Все эти оценки вследствие закона больших чисел будут сходиться по вероятности к дисперсии при неограниченном увеличении числа опытов. В предыдущих параграфах мы видели также, что существуют различные оценки математического ожидания и корреляционной функции случайной функции. В связи с этим возникает необходимость изучить общие свойства возможных оценок вероятностных характеристик или, как их обычно называют в математической статистике, статистических параметров, и установить некоторые общие методы нахождения оценок.

Будем рассматривать случайные результаты опытов (не обязательно независимых в общем случае) как составляющие n-мерного случайного вектора Оцениваемый статистический параметр может быть как случайной величиной, гак и неизвестной неслучайной величиной. В обоих случаях мы будем обозначать через плотность вероятности случайного вектора X при фиксированном значении параметра В первом случае это будет обычная условная плотность вероятности вектора X относительно параметра Во втором случае это будет зависящая от значения параметра плотность вероятности вектора Всякая оценка параметра представляет собой определенную функцию вектора X, не зависящую от значения параметра Очевидно, что имеет смысл рассматривать только такие оценки, которые сходятся по вероятности к оцениваемому статистическому параметру при неограниченном увеличении числа опытов Такие оценки обычно называются состоятельными.

Математическое ожидание оценки представляет собой некоторую функцию значения параметра

В этой формуле и везде в дальнейшем математические ожидания берутся при фиксированном значении параметра (т. е. условные математические ожидания, если параметр случайный), если не оговорено противное. Для несмещенной оценки функция в (116.1)

тождественно равна Дифференцируя равенство (116.1) по получим:

Точно так же, дифференцируя формулу

получим:

или

Из (116.2) и (116.5) вытекает формула

Применяя неравенство (20.27) к математическому ожиданию произведения случайных величин в правой части равенства (116.6), получим:

где для краткости опущены аргументы плотности вероятности Из (116.7), принимая во внимание (116.5), находим:

Это неравенство показывает, что средняя квадратическая ошибка приближения оценки к значению оцениваемого параметра не может быть меньше некоторой величины, зависящей от закона распределения результатов опытов. Эта величина для состоятельной оценки должна стремиться к нулю при неограниченном увеличении числа опытов Дифференцируя равенство (116.4), получим:

Пользуясь этой формулой, приходим к равенству

На основании этой формулы неравенство (116.8) может быть представлено в виде:

Для несмещенных оценок величина представляет собой дисперсию оценки и неравенство (116.8) принимаем вид:

Оценка для которой в формулах (116.8) и (116.11) или (116.12) имеет место знак равенства, называется эффективной. Для любой оценки величина

зависящая от вида функции называется эффективностью этой оценки. Эффективные оценки имеют эффективность, равную единице. «Для всех других оценок эффективность представляет собой положительную правильную дробь.

Пусть несмещенная эффективная оценка и — любая другая несмещенная оценка. Тогда при любом действительном а оценка будет также несмещенной. Дисперсия этой оценки на основании (20.17) и (17.7) определяется формулой

где коэффициент корреляции оценок . Так как несмещенная эффективная оценка, то и

Таким образом, из (116.14) следует, что при любом действительном а имеет место неравенство

или

Отсюда следует, что

Действительно, если равенство (116.18) не выполнено, то всегда можно найти такое действительное а, при котором левая часть неравенства (116.17) будет отрицательной, что по доказанному невозможно. Таким образом, коэффициент корреляции между несмещенной эффективной оценкой и любой другой несмещенной оценкой равен эффективности этой оценки.

Из (116.18) следует, что коэффициент корреляции двух несмещенных эффективных оценок равен единице. Но на основании доказанного в § 20 две случайные величины, имеющие одинаковые математические ожидания и дисперсии и равный единице коэффициент корреляции, с вероятностью единица совпадают. Следовательно, практически может существовать только одна несмещенная эффективная оценка данного статистического параметра.

По доказанному в § 20 знак равенства в (116.7) имеет место тогда и только тогда, когда между случайными величинами и существует линейная зависимость. Вследствие (116.1) и (116.5) эта линейная зависимость имеет вид:

где коэффициент может зависеть от Таким образом, необходимым и достаточным условием того, чтобы оценка была эффективной, является равенство (116.19).

Пусть такие функции, не зависящие от что при всех х из области возможных значений случайного вектора X существует отличный от нуля якобиан

Тогда, вводя случайный вектор У с составляющими

и пользуясь формулой можем выразить плотность вероятности случайного вектора X формулой

где соответственно плотность вероятности оценки и условная плотность вероятности случайного вектора относительно оценки при данном значении параметра Так как якобиан не зависит от то из (116.22) следует, что

Сравнивая это равенство с (116.19) и принимая во внимание, что плотность вероятности не зависит от у, получаем для случая эффективной оценки

где некоторая функция не зависящая от у. Из второй формулы (116.24) следует, что

Но для любой плотности вероятности, в том числе и для справедлива формула (116.4). Следовательно, и первая формула (116.24) принимает вид:

Вторая формула (116.24) при этом показывает, что плотность вероятности не зависит от

Таким образом, для того чтобы оценка была эффективной, необходимо и достаточно соблюдение двух условий:

1) при любом выборе функций удовлетворяющих условию (116.20), условная плотность вероятности случайного вектора относительно оценки не зависит от значения оцениваемого параметра

2) плотность вероятности оценки удовлетворяет равенству (116.26), где коэффициент может зависеть только от

Если выполнено только первое условие эффективности оценки, а условие (116.26) не удовлетворяется, то оценка называется достаточной. Достаточная оценка полностью использует информацию об оцениваемом параметре содержащуюся в результатах опытов Действительно, независимость условной плотности вероятности от

при любом выборе функций удовлетворяющих условию (116.20), означает, что не существует функций независимых от оценки содержащих дополнительное количество информации о параметре по сравнению с тем, которое содержится в оценке Докажем это положение, считая оцениваемый параметр случайной величиной. Для этого введем, наряду с условными плотностями вероятности случайного вектора X и оценки относительно параметра безусловные плотности вероятности случайного вектора X и оценки Тогда, пользуясь формулой (44.2) и выражая формулой (116.22), найдем разность количеств информации о параметре содержащихся в случайном векторе X и в оценке

где условная плотность вероятности вектора У относительно оценки Математические ожидания в формуле (116.27), в отличие от всех остальных формул этого параграфа, представляют собой безусловные математические ожидания, вычисленные с учетом случайности параметра Обозначая совместную плотность вероятности параметра и оценки через можем представить формулу (116.27) в виде:

Принимая во внимание, что функция обладает всеми свойствами трехмерной плотности вероятности, и пользуясь неравенством (43.6), получим из (116.28):

Знак равенства в этой формуле имеет место тогда и только тогда, когда условные плотности вероятности тождественно равны Друг другу, т. е. когда не зависит от следовательно, оценка достаточна. Таким образом, мы доказали, что никакая оценка не может содержать большее количество информации об оцениваемом параметре, чем результаты опытов, и что достаточная оценка всегда содержит то же количество информации, что и результаты опытов.

Для нахождения оценок можно применить различные методы. В предыдущих параграфах мы находили оценки моментов, принимая В качестве оценок математических ожиданий средние арифметические

соответствующих величин, полученные в результате опытов. Если оцениваемый параметр сам не является моментом, то его оценку можно получить, выражая его через какой-нибудь момент и заменяя в этом выражении момент соответствующим средним арифметическим.

Одним из наиболее важных общих методов нахождения оценок является метод максимума правдоподобия. Согласно этому методу за оценку принимается то значение при котором плотность вероятности для полученного в результате опытов значения случайного вектора X достигает максимума. Это дает для нахождения оценок уравнение

Подставив в это уравнение значение х, полученное в результате опытов, и решив его относительно мы и получим оценку максимума правдоподобия параметра

Если существует несмещенная эффективная оценка то на основании (116.19) уравнение максимума правдоподобия (116.30) принимает вид:

Единственным решением этого уравнения относительно является Таким образом, если существует несмещенная эффективная оценка, то она является единственным решением уравнения максимума правдоподобия (116.30).

Если существует достаточная оценка то на основании (116.23) и независимости от уравнение максимума правдоподобия (116.30) принимает вид:

Все решения этого уравнения относительно являются функциями Таким образом, если существует достаточная оценка, то все решения уравнения максимума правдоподобия (116.30) являются функциями этой достаточной оценки.

Если оцениваемый параметр является случайной величиной, имеющей плотность вероятности то за оценку максимума правдоподобия принимают то значение при котором условная плотность вероятности параметра относительно результатов опытов X (т. е. апостериорная плотность вероятности параметра максимальна. Это условие на основании формул (16.7) и (15.8) дает уравнение

В случае, когда плотность вероятности случайного параметра медленно изменяется в окрестности максимума плотности вероятности уравнение (116.33) практически совпадает с (116.30). Таким образом,

при размытом априорном распределении оцениваемого случайного параметра уравнение максимума правдоподобия (116.33) может быть заменено уравнением (116.30).

Совершенно аналогично строится теория оценок векторных параметров (см. [32]). Функции результатов опытов, обладающие минимальным рассеиванием, называются совместно-эффективными оценками составляющих оцениваемого векторного параметра Если при любом выборе функций независимых от оценок условная плотность вероятности этих функций относительно оценок не зависит от значения оцениваемого параметра то оценки называются совместно-достаточными оценками составляющих вектора

Для нахождения оценок векторных параметров можно применить тот же метод моментов, что и для нахождения оценок скалярных параметров. Для этого достаточно взять теоретические выражения соответствующего числа моментов результатов опытов через составляющие оцениваемого векторного параметра, заменить в этих выражениях моменты соответствующими средними арифметическими и решить полученные уравнения относительно составляющих оцениваемого параметра.

Метод максимума правдоподобия дает для определения оценок составляющих векторного параметра систему уравнений

Подставив в эти уравнения значение х, полученное в результате опытов, и решив их относительно мы и получим искомые оценки. Если оцениваемый векторный параметр является случайным и имеет плотность вероятности то метод максимума правдоподобия дает для определения оценок вместо (116.34) систему уравнений

Метод максимума правдоподобия при весьма общих условиях дает оценки, эффективность которых стремится к единице при неограниченном возрастании числа опытов Такие оценки называются асимптотически эффективными. Этим объясняется то большое значение, которое имеет метод максимума правдоподобия.

Рассмотрим теперь несколько более подробно частный случай оценки скалярного параметра по результатам независимых опытов, произведенных в одинаковых условиях. В этом случае

где плотность вероятности результата одного опыта. Принимая во внимание, что случайные величины независимы, и пользуясь формулой (20.16), находим:

и неравенство (116.8) принимает вид:

Уравнение максимума правдоподобия (116.30) на основании (116.36) принимает вид:

В частном случае, когда наблюдаемая случайная величина X прерывна и принимает значения с вероятностями

и

Возьмем такое малое чтобы в каждом интервале было только одно возможное значение величины Тогда, принимая во внимание, что как и всякая плотность вероятности, удовлетворяет условию (116.5), получим:

Так как в интервале величины и равны соответственно то

Подставляя это выражение в (116.42), получим:

Далее, на основании (116.40) и (116.41)

Следовательно, обозначая число появлений значения величины X через можем написать уравнение максимума правдоподобия (116.39) в виде:

Таким образом, в случае прерывной наблюдаемой случайной величины дисперсия в (116.38) выражается формулой (116.44), а уравнение максимума правдоподобия имеет вид (116.46).

Наиболее общие методы исследования оценок статистических параметров дает недавно развившаяся новая отрасль математической статистики — теория статистических решений [106, 6]. Самые общие задачи теории статистических решений возникают в различных при кладных областях науки как задачи обнаружения и воспроизведения различных сигналов в присутствии случайных шумов и помех [96, 101, 62]. Эти задачи будут рассмотрены в следующих главах.

Пример 1. Найти оценку математического ожидания нормально распределенной случайной величины X по результатам независимых, произведенных в одинаковых условиях опытов. В данном случае

и уравнение максимума правдоподобия (116.39) имеет вид:

Решая это уравнение относительно получаем в качестве оценки математического ожидания среднее арифметическое результатов опытов (111.1). Неравенство (116.38) для несмещенной оценки имеет в данном случае вид:

Таким образом, никакая несмещенная оценка математического ожидания не может иметь дисперсию, меньшую чем Формулы (111.3) показывают, что среднее арифметическое результатов опытов является несмещенной эффективной оценкой математического ожидания нормально распределенной случайной величины.

Пример 2. Найти оценку дисперсии нормально распределенной случайной величины X с известным математическим ожиданием по результатам независимых, произведенных в одинаковых условиях опытов. В данном случае

и уравнение, максимума правдоподобия (116.39) имеет вид;

Решая это уравнение, получаем оценку (111.4) дисперсии Неравенство (116.38) имеет в данном случае вид:

Легко убедиться в том, что оценка (111.4) дисперсии является несмещенной эффективной оценкой.

Так как для смещенной оценки дисперсии (111.5) вследствие то на основании (111.20), (116.13) и (116.50) ее эффективность равна . Эта величина стремится к единице при Следовательно, оценка (111.5) является асимптотически эффективной. Эффективность несмещенной оценки дисперсии (111.11) на основании (111.19) и равна Следовательно, оценка (111.11) также является асимптотически эффективной.

Пример 3. Найти оценку вероятности события, зная, что в результате независимых, произведенных в одинаковых условиях опытов событие появилось раз.

В данном случае и уравнение максимума правдоподобия (116.46) имеет вид:

Решая это уравнение относительно получаем в качестве оценки вероятности частоту события Неравенство (116.38) для несмещенной оценки вследствие (116.44) имеет в данном случае вид:

Таким образом, никакая несмещенная оценка вероятности события не может иметь дисперсию, меньшую чем Формулы (110.1) показывают, что частота является несмещенной эффективной оценкой вероятности события.

Пример 4. Найти совместные оценки математического ожидания и дисперсии нормально распределенной случайной величины по результатам независимых, произведенных в одинаковых условиях опытов. В данном случае и

Метод максимума правдоподобия дает для определения оценок математического ожидания и дисперсии уравнения (116.48) и (116.51). Решая эти уравнения относительно получаем оценки (111.1) и (111.5). Легко проверить, что эти оценки являются совместно-достаточными. Для этого достаточно пользуясь методом § 33, найти условную плотность вероятности

любых функций

независимых от оценок (111.1) и (111.5), относительно этих оценок и убедиться в том, что она не зависит от Точно так же оценки (111.1) и (111.11) являются совместно-достаточными несмещенными оценками математического ожидания и дисперсии нормально распределенной случайной величины. Оценки (111.1) и (111.5), так же как и оценки (111.1) и (111.11), являются, кроме того, асимптотически совместно-эффективными (см. [32]).