14.4. Статистические оценки

Статистическая оценка может быть кратко описана следующим образом: наблюдается событие, которое может быть вызвано любой одной причиной из семейства взаимно исключающих друг друга возможных причин (или связано с любым одним явлением из семейства возможных явлений природы). Каждой из этих возможных причин приписано значение определенного параметра или совокупности параметров. Требуется по результатам наблюдения определить, которая из причин скорее всего имеет место, т. е. найти соответствующее значение параметра или совокупности параметров. Итак, как и в случае статистической проверки гипотез, мы зададим пространство У всех возможных значений некоторой наблюдаемой величины (или величин) и совокупность известных вероятностей в где со принадлежит к множеству Я. Однако теперь разделяется на совокупность попарно не пересекающихся подмножеств где а — число или вектор, характеризующий данное подмножество. Подмножества могут состоять каждое только из одного элемента , входящего в Я. Оценка а — это функция определенная в У, причем подразумевается, конечно, что она должна давать достаточно хорошую оценку истинного значения а. Таким образом, оценка — это случайная величина, заданная на пространстве наблюдений.

Эта абстрактная формулировка станет, может быть, более ясной, если мы разъясним ее на простом примере. Пусть известно, что некоторая величина у определяется гауссовским распределением с нензвестным средним значением и дисперсией и требуется найти оценку для . Пусть сделано N независимых измерений величины у. Обозначим их . Тогда пространство результатов наблюдений Y есть -мерное векторное пространство и точка у в Y имеет координаты Множество есть верхняя половина плоскости, в которой абсцисса точки представляет среднее значение , а ордината (которая положительна) — дисперсию Подлежащий определению параметр а — это а подмножества - вертикальные линии, проведенные от горизонтальной оси. Примером оценки для служит выборочное среднее

являющееся функцией точки у пространства У. При тех же условиях можно поставить задачу оценки . Тогда — те же, что и ранее, но а есть теперь вектор с координатами — точка в полуплоскости .

Согласно определению оценки, ею является всякая функция от у, независимо от того, дает ли она хорошее, отличное или смехотворно произвольное значение для истинного значения параметра. Существуют различные критерии, позволяющие судить о пригодности и качестве оценки. Во-первых, когда распределения в У полностью определяются заданием а, так что каждая плотность из семейства плотностей распределений вероятностей в Y может быть записана в виде мы говорим, что оценка а величины а является несмещенной, если она дает в среднем правильное значение; иными словами, а есть несмещенная оценка, если для всех а

где математическое ожидание а, когда а истинно. Это же условие можно записать в виде

Если распределение вероятностей в У не определяется полностью одним параметром, то условие, соответствующее (14.39), тем не менее может быть написано; однако в этом случае оно представляет собой более сильное ограничение. Так, например, если семейство распределений определяется двумя параметрами а и то мы можем сказать, что оценка а параметра а является несмещенной, если для всякого а

Несмещенность не является достаточной гарантией качества оценки. Оценка а может быть несмещенной, и тем не менее при повторении идентичных независимых опытов мы получим значения, которые будут широко флуктуировать вокруг истинного значения. Это обстоятельство связано с тем, что для некоторых множеств плотностей оценка а(у), рассматриваемая как случайная величина, может иметь распределение, при котором распределение вероятностей не концентрируется близко к среднему значению. Одной из мер флуктуации а вокруг ее среднего значения может служить ее дисперсия

Если а — несмещенная оценка, то последнее равенство принимает вид

Условие оптимальности оценки, которое мы будем употреблять, будет состоять в том, что среди всех несмещенных оценок данного класса оптимальная оценка должна будет обладать минимальной дисперсией.

Как и при проверке гипотез, нередко представляет интерес, насколько улучшаются статистические выводы с увеличением числа независимых наблюдений. Пусть дана последовательность оценок , где — оценка, определенная на пространстве совместных результатов N независимых наблюдений. Если эта последовательность обладает тем свойством, что для любого истинного значения параметра а оценка сходится по вероятности к а, то последовательность оценок называется состоятельной.

Оценка наибольшего правдоподобия.

Принцип наибольшего правдоподобия, изложенный в предыдущем разделе, применим также и к оценкам. Интуитивная идея такого применения состоит в следующем. Пусть при некотором частном наблюдении получено значение у и при этом известно, что в у действует какая-либо плотность из семейства плотностей распределения вероятностей Тогда естественно предположить, что истинным значением а является то, которое задает в Y распределение вероятностей, делающее наиболее вероятным наблюденное значение у. Иными словами, параметр предполагается таким, что он обеспечивает максимум ; при этом рассматривается как функция от а; у называется функцией правдоподобия и иногда обозначается через . При положительных значениях аргументов логарифм является действительной монотонно возрастающей функцией; поэтому мы можем при отыскании значений а, обеспечивающих максимум вместо рассматривать . Обычно это оказывается более удобным. Если обладает непрерывной производной по а, то мы часто можем надеяться найти значение или значения а, обеспечивающие максимум правдоподобия, среди решений уравнения

Это уравнение называется уравнением правдоподобия. Решение его относительно а есть функция а(у), являющаяся некоторой оценкой для а. Возможны решения, имеющие вид они не

являются разумными оценками, так как не зависят от у, и мы исключим их из рассмотрения. Остальные решения уравнения (14.43) называются оценками наибольшего правдоподобия. Известно, что оценки наибольшего правдоподобия обладают свойствами, которые позволяют найти при некоторых обстоятельствах иные оправдания их применения, помимо изложенного выше грубо интуитивного оправдания. При определенных условиях оценки наибольшего правдоподобия обладают минимальной дисперсией в широком классе несмещенных оценок. При более общих условиях оценки наибольшего правдоподобия являются состоятельными и обладают асимптотически минимальной дисперсией.

Если имеется различных подлежащих оценке параметров то метод наибольшего правдоподобия состоит в решении уравнений

относительно . Если известно априорное распределение вероятностей для значений параметра с плотностью распределения , то существует байесовская оценка, получающаяся максимизацией для каждого у величины Здесь есть близкая аналогия с ситуацией, которую мы имели при проверке гипотез с заданными априорными вероятностями.

Пример 14.4.1. Пусть У есть -мерное векторное пространство. Пусть задана совокупность гауссовских -мерных плотностей

и требуется оценить . Оценку наибольшего правдоподобия применительно к этой задаче мы уже получили в примере 14.3.5. Согласно равенству (14.34),

Эта оценка является несмещенной, поскольку

Так как независимы, то дисперсия равна

и не зависит от . Дисперсия этой оценки не зависит от , так как параметр влияет только на среднее значение распределения в

Оценка линейна, т. е. если — два наблюдаемых значения, а — постоянные, то

Мы можем теперь показать, что среди всех несмещенных линейных оценок оценка обладает наименьшей дисперсией. Всякая линейная оценка может быть записана в форме

где — некоторая совокупность чисел. Для того чтобы была несмещенной оценкой, должно быть

поэтому числа должны удовлетворять следующему соотношению:

Дисперсия равна

Согласно равенству (14.50) и неравенству Шварца,

и, следовательно,

Наблюдения и статистики.

До сих пор, рассматривая как проверку гипотез, так и задачи, связанные с оценками, мы предполагали заданным пространство результатов наблюдений У, или выборочное пространство. Во многих классических процедурах проверки гипотез производится некоторое число N наперед заданных измерений или наблюдений, которые и доставляют статистические данные. Эти N измерений дают совокупность действительных чисел которые можно представлять себе как координаты точки в -мерном векторном пространстве Y — выборочном пространстве. Если методика измерений определена, то тем самым фиксировано пространство У. Пространство У содержит весь исходный материал, на основе которого должны быть сделаны статистические выводы. Однако в задачах некоторых типов, и в частности в применениях, которые мы здесь рассматриваем, имеется слишком много исходных данных, чтобы их можно было обрабатывать непосредственно; поэтому анализ обычно разбивается на два этапа. Сначала рассматриваются первоначальные данные эксперимента и из них выбирается более узкая совокупность данных, а затем к последней применяются статистические процедуры. В таких ситуациях выборочным пространством У является пространство возможных значений этой более узкой совокупности данных.

Предположим, например, что с помощью радиолокатора, работающего импульсами, определяется наличие отражающего объекта в определенном направлении на расстоянии от 20 до 21 мили. В идеальном случае данные, которые поступают на приемное устройство радиолокатора и на основе которых мы можем делать необходимые выводы, состоят из последовательности отрезков, по одному на каждый импульс, с непрерывной записью напряжения как функции времени, длительностью 2/186000 сек. (время, в течение которого радиоволны пробегают 2 мили). Непрерывная запись такого рода содержит несчетное множество значений. Уменьшить это количество данных можно различными путями. Так, например, можно отсчитывать каждый отраженный импульс лишь однажды, т. е. в течение каждого интервала времени, соответствующего дистанциям от 20 до 21 мили, один раз измерять амплитуду принятого сигнала. Предположим, что радиолокатор работает в данном направлении в течение времени, достаточного для излучения

и возвращения обратно К импульсов. Тогда выборочная точка имеет координат и пространство У является -мерным.

Сокращение количества данных при переходе от исходного пространства измерений к выборочному пространству можно рассматривать как отображение или преобразование. Если исходное пространство результатов наблюдений обозначить через М, а входящие в него точки через то каждое наблюдение определяет точку у в выборочном пространстве. Таким образом, задается отображение пространства М в пространство У; такое отображение называется статистикой. Вообще, всякое отображение пространства результатов наблюдений в выборочное пространство или одного выборочного пространства в другое называется статистикой. В частности, в ситуации, описанной в предыдущем параграфе, отображение, переводящее принятый сигнал в точку -мерного пространства, является статистикой. Если, далее, вычисляется среднее значение координат точки в пространстве У, то это есть отображение У в новое одномерное выборочное пространство, являющееся другой статистикой — выборочным средним.

Совершенно очевидно, что выбор статистики является частью общей статистической задачи и что его нужно делать с должным вниманием. Обычно при сокращении исходных данных часть информации, пригодной для отыскания решения, теряется; однако это происходит не всегда. Так, например, можно показать, что если про некоторую систему величин известно, что эти величины распределены в соответствии с гауссовским законом распределения вероятностей с неизвестными средним значением и дисперсией, и если производятся независимых испытаний, то выборочное среднее и выборочная дисперсия содержат столь же много информации о распределении, как и выборочных значений. Здесь статистика с двумя координатами — выборочным средним и выборочной дисперсией — отображает -мерное выборочное пространство в двумерное.

Гренандер ввел термин «наблюдаемые координаты» для начальной статистики, используемой для получения статистических выводов, касающихся вероятностных процессов. Этот термин кажется подходящим для ситуаций, которые мы здесь рассматриваем, и мы будем пользоваться им в последующих параграфах.