11.1. ОСНОВНЫЕ ПРИНЦИПЫ ТЕОРИИ ОЦЕНОК

В гл. 8 было рассмотрено понятие случайного процесса и дана его характеристика на основе средних значений. При

эмпирическом описании сигнала моделью случайного процесса часто необходимо оценить средние значения случайного процесса по единственной выборочной последовательности, т. е. по последовательности которая считается реализацией случайного процесса, определяемого множеством случайных величин Кроме того, вычисление оценки возможно только тогда, когда она основана на конечном отрезке выборочной последовательности Если рассматриваются эргодические случайные процессы, т. е. процессы, у которых вероятностные средние равны средним по времени, то вполне вероятно, что можно вычислить оценки различных требуемых средних значений случайных величин по конечному отрезку единственной выборочной последовательности. Например, рассмотрим случайный процесс, для которого

Более того, предположим, что

и для каждой выборочной последовательности случайного процесса

Тогда величина могла бы быть достаточно точной оценкой если «достаточно велико». Ветвь статистической теории, которая имеет отношение к подобным ситуациям, называется теорией оценок. В более общей ситуации, по сравнению с рассматриваемой здесь, также имеется большое число вопросов, требующих ответа. Например, если случайная последовательность генерируется дискретной линейной системой при возбуждении ее белым шумом, то представляет интерес оценка параметров этой линейной системы. Другой возможной целью анализа может быть просто решение вопроса о том, является ли процесс белым или небелым. Для характеристики процесса можно оценить такие параметры, как среднее, дисперсия, автоковариационная последовательность или спектр мощности. В следующих параграфах будут оценены именно эти параметры.

Рассмотрим стационарный случайный процесс Его среднее значение определяется выражением (11.1), а временное среднее - (11.2). Предположим также, что временное среднее каждой выборочной последовательности (11.3) равно Дисперсия случайного процесса определяется как

Автоковариационная последовательность определяется как

а спектр мощности как

Параметр случайного процесса определяется по конечному отрезку единственной выборочной последовательности, т. е. имеется N значений при —1, по которым оценивают некоторый параметр, обозначенный а. Оценка а параметра а, таким образом, является функцией случайных величин т. е. , следовательно, а также случайная величина. Плотность вероятности а будем обозначать - Аналитическое выражение для и ее форма будут зависеть от выбора алгоритма оценки и плотностей вероятности случайных величин как показано на рис. 11.1. Резонно называть алгоритм «хорошим», если оценка с большой вероятностью близка к а.

Рис. 11.1. Плотность распределения вероятности двух оценок

Рис. 11.2. Доверительные пределы для оценки

С этой тючки зрения оценка 2 на рис. 11.1 лучше оценки 1, так как плотность вероятности оценки 2 более сконцентрирована около истинного значения а.

Один из способов, с помощью которого можно охарактеризовать концентрацию плотности вероятности, состоит в задании доверительного интервала. Например, для плотности распределения, изображенной на рис. 11.2, площадь под функцией плотности распределения в пределах представляет вероятность того, что оценка будет лежать в этих пределах. Поэтому если обозначить эту площадь как то вероятность Таким образом, например, если для данной оценки найдено, что при площадь равна 0,95, то в этом случае можно сказать, что с 95%-ной уверенностью оценка будет в пределах ±0,1 около истинного значения.

Вообще, вероятно, что для хорошего алгоритма оценки функция плотности должна быть узкой и сконцентрированной около истинного значения и на этой основе можно сравнивать различные алгоритмы. В соответствии с этим замечанием, как правило, в качестве критерия для сравнения оценок выбираются смещение и дисперсия. Смещение определяется как разность между истинным значением параметра и средним значением оценки:

Несмещенной называется оценка, для которой смещение равно нулю. Это означает, что среднее оценки равно истинному значению, т. е. если плотность вероятности симметрична, то ее центр совпадает с истинным значением а. Дисперсия оценки является мерой ширины плотности вероятности и определяется выражением

Малая величина дисперсии предполагает, что плотность вероятности сконцентрирована около среднего значения, которое в случае, когда оценка не смещена, будет совпадать с истинным значением параметра. Во многих случаях сравнение оценок осложняется тем, что оценка, имеющая малое смещение, имеет большую дисперсию или наоборот. Следовательно, иногда удобно рассматривать среднеквадратическую ошибку, которая определяется выражением

Оценка называется состоятельной, если с увеличением числа наблюдений ее смещение и дисперсия стремятся к нулю.

В качестве иллюстрации вышеизложенного рассмотрим случайный процесс с гауссовой плотностью вероятности, т. е. Будем также предполагать, что случайные величины статистически независимы, в частности действительны и статистически независимы. Часто используются оценки максимального правдоподобия. Оценка максимального правдоподобия основана на рассмотрении совместной плотности наблюдаемых значений как функции оцениваемого параметра. Оценка максимального правдоподобия является тем значением параметра, при котором вероятность наблюдаемых значений максимальна. Хорошо известно [7], что для рассматриваемой задачи оценка максимального правдоподобия среднего значения гауссового случайного процесса является выборочным средним:

Это один из способов оценки параметра Так как является взвешенной суммой независимых гауссовых случайных величин, то плотность вероятности также гауссова [7] и, следовательно, полностью определяется смещением и дисперсией оценки. Математическое ожидание равно математическому ожиданию , следовательно, смещение равно нулю. Чтобы получить дисперсию выборочного среднего, необходимо вычислить

Поэтому

Выражение (11.11) говорит о том, что с увеличением числа наблюдений дисперсия выборочного среднего уменьшается и, так как смещение равно нулю, то выборочное среднее является состоятельной оценкой.

Если среднее значение известно, а нужно оценить дисперсию, то оценкой максимального правдоподобия будет

Непосредственно проверяется, что эта оценка состоятельна. Однако требуется, чтобы параметр был известен. В том случае, когда нужно оценить как среднее, так и дисперсию, оценкой максимального правдоподобия, для среднего как и прежде, будет выборочное среднее, а оценкой максимального правдоподобия для дисперсии будет выборочная дисперсия, определяемая выражением

где является выборочным средним. Выражение (11.13) отличается от (11.12) тем, что в первом случае использовалось истинное среднее значение, а во втором — оценка этого среднего. Для определения смещения выборочной дисперсии (11.13) вычислим сначала математическое ожидание

Следовательно, среднее значение выборочной дисперсии не равно дисперсии и, таким образом, выборочная дисперсия является смещенной оценкой. Однако при увеличении среднее выборочной дисперсии приближается к дисперсии и оценка асимптотически не смещена. Для определения дисперсии выборочной дисперсии предположим сначала для удобства, что процесс имеет нулевое среднее, так что Тогда

Нетрудно заметить, что и поэтому

Таким образом, из (11.14) и (11.15) видно, что выборочная дисперсия является состоятельной оценкой.

Целью предыдущего обсуждения была иллюстрация методов анализа при описании свойств оценок. Этот анализ дает представление о точности оценки и о том, как эта точность зависит от числа выборок, используемых для оценки.

Чтобы вычислить доверительные пределы для оценок, нужно знать распределение вероятности случайных величин Когда вероятностные распределения неизвестны, что типично в задачах обработки сигналов, то обоснованно предполагается, что распределения являются гауссовыми. Для этого предполагаемого распределения случайных величин часто оказывается возможным приближенно вывести доверительные пределы для оценок среднего, дисперсии и т. д. Однако во многих случаях достаточно выражений для смещения и дисперсии оценок. Даже приближенные выражения, показывающие зависимость смещения и дисперсии от длины выборочной последовательности, полезны при применении цетодов цифровой обработки сигналов, рассмотренных в предыдущих главах, к задаче оценки средних значений случайных сигналов. Поэтому в следующих параграфах будут получены выражения для смещения и дисперсии различных оценок автоковариации и спектра мощности стационарного случайного сигнала. Эти выражения помогут понять проблемы, встречающиеся при вычислении таких оценок.