6.5. Точность оценок и априорная информация

Исследуем теперь точность оценок максимального правдоподобия и байесовских оценок в условиях, когда априорные значения математических ожиданий и дисперсий известны неточно. Будут рассмотрены два случая. В первом из них будет предполагаться, что априорная плотность вероятности  параметра  неизвестна, хотя значения ее первых двух моментов заданы; при этом также считается известной условная плотность вероятности . Для этого случая можно найти оценку максимального правдоподобия . Но поскольку среднеквадратическая ошибка байесовской оценки меньше, чем оценки максимального правдоподобия (см. пример 6.7), то вполне можно считать оправданными попытки использования псевдобайесовской оценки, при построении которой вместо недостающей априорной плотности вероятности оцениваемого параметра вводится какая-либо другая плотность. При анализе первого случая такой вводимой функцией служит нормальная плотность вероятности. При этом будет показано, что получающаяся псевдобайесовская оценка имеет меньшую среднеквадратическую ошибку, чем оценка максимального правдоподобия. Во втором случае будем считать, что неизвестными являются также и среднее значение, и дисперсия оцениваемого параметра. В подобных условиях будет предложено использовать эмпирические псевдобайесовские оценки, основывающиеся на априорных оценках неизвестных значений математического ожидания и дисперсии.

Анализ точности: оценки максимального правдоподобия. Рассмотрим линейную модель наблюдений:

;    ,                                (6.54)

где  и  — векторы с  компонентами, представляющие собой выборку и вектор шума;  — постоянный N-мерный параметр, подлежащий оцениванию;  — модуляционная матрица размера . Будем предполагать, что  является нормальным случайным вектором с нулевым средним значением и ковариационной матрицей

.                                        (6.55)

Оценка максимального правдоподобия для параметра  определяется максимизацией по  плотности вероятности

    (6.56)

где

;    ;    .

Нетрудно доказать, что

.    (6.57)

В действительности часто оказывается, что ковариационные матрицы шума  известны лишь приближенно. Поэтому примем, что вместо точных матриц  или  в алгоритме оценивания используются несколько отличающиеся матрицы  или . Так что фактически будет вычисляться оценка

,    (6.58)

которая является несмещенной при каждом фиксированном значении оцениваемого параметра (условно несмещенной). Рассмотрим теперь следующие ошибки:

;    ;    .    (6.59)

Здесь  является ошибкой, которая получается при использовании алгоритма для вычисления значений оценки максимального правдоподобия, ориентированного на точную ковариационную матрицу  (такую оценку назовем идеальной);  — ошибка оценивания, когда используемый алгоритм ориентирован на предполагаемую матрицу ; разность  между значениями действительной оценки максимального правдоподобия и вычисляемой обозначена символом .

Из ф-лы (6.25) для безусловной среднеквадратической ошибки получаем

,                              (6.60)

если для оценивания используется идеальная оценка максимального правдоподобия. С другой стороны, для оценки  имеем:

       (6.61)

,                          (6.62)

или с использованием обозначений, принятых в (6.54),

.              (6.63)

Можно показать (см. § 6.7), что

.                     (6.64)

Полезно рассмотреть разность  двух анализируемых оценок, поскольку она характеризует точность вычисления значений идеальной оценки максимального правдоподобия. Для ковариационной матрицы вектора  получаем

.    (6.65)

Рассмотрим теперь случай, когда предполагаемая ковариационная матрица шума «близка» к истинной, т. е. можно положить

,                  (6.66)

где  «мало». Тогда

                         (6.67)

или

.    (6.68)

Используя это приближение и учитывая также, что

получаем

     (6.69)

Пример 6.10. В скалярном стационарном случае, когда

;    ;    ,

приходим к следующим выражениям для оценок и их дисперсий:

;    ;    ;    ;

;    .

Интересным оказывается тот факт, что для этого частного случая не нужно знать дисперсию шума при вычислении оценки максимального правдоподобия. И это справедливо всякий раз, когда выборка является скалярной, а ее элементы независимы и одинаково распределены.

Пример 6.11. Допустим теперь, что предполагаемая ковариационная матрица шума отличается от истинной, причем

;    .

Выражения для рассматриваемых оценок и их ковариационных матриц при этом имеют вид

;    ;

;     ;

;    ,

так что вновь оценка максимального правдоподобия оказывается нечувствительной к подобным ошибкам в определении ковариационной матрицы шума.

Пример 6.7 позволил показать, что оценка максимального правдоподобия хуже, чем байесовская оценка. Она приводит к большей среднеквадратической ошибке оценивания, поскольку при построении оценки максимального правдоподобия совсем не учитывается априорная плотность вероятности оцениваемого параметра. Перейдем теперь к анализу точности байесовских оценок.

Анализ точности: байесовские оценки. Снова рассмотрим линейную модель наблюдаемого процесса

,    ,                                (6.70)

где случайный параметр  является -мерным вектором, выборочное значение которого одно и то же для всех элементов выборки; векторы  и  имеют размерность , а модуляционная матрица наблюдений  — размер. Будем предполагать, что  и  — независимые нормальные векторы с параметрами:

;    ;                           

;    .                                       (6.71)

Как и в примере 6.1, для оценки по максимуму апостериорной плотности вероятности получаем

                     (6.72)

или

.           (6.73)

Ковариационная матрица вектора ошибок при использовании этой оценки

.    (6.74)

Предположим теперь, что вместо истинных математических ожиданий и ковариационных матриц в ф-ле (6.73) используются другие матрицы ,  и  или  для составного вектора. Так что фактически вычисляется оценка

,                          (6.75)

которая не является уже безусловно несмещенной, так как

.    (6.76)

Оценка  будет несмещенной только в том случае, когда – либо , либо . Корреляционная матрица вектора ошибок при использовании этой оценки вычисляется обычным образом с использованием (6.74) Так как

    (6.77)

то

               (6.78)

Эта матрица зависит от величины смещения оценки [см. второе слагаемое в ф-ле (6.76)] Ковариационная матрица вектора ошибок для оценки

.    (6.79)

Если ковариационные матрицы, используемые при вычислении оценки , оказываются равными истинным, то ф-ла (6.79) переходит в (6.74). Во всех же других случаях

,                             (6.30)

и равенство достигается тогда, когда ; . Разница между знаменателями двух рассматриваемых оценок  получается путем вычитания (6.75) из (6.73). Ковариационную матрицу этого вектора,  можно вычислить с помощью соотношения

    (6.81)

где .

Так что окончательно имеем

   (6.82)

Эта матрица равна нулю, если моменты, используемые при вычислении оценки , совпадают с истинными. Формулы (6.76) и (6.82) позволяют провести анализ точности оценки по максимуму апостериорной плотности вероятности при неточно известных ковариационных матрицах оцениваемого параметра и шума.

Полезные приближения для полученных выражений можно указать для случая, когда

;    ;    ,    (6.83)

где  и  малы. Для этого достаточно воспользоваться следующими приближенными представлениями:

;

.

При этом

      (6.84)

Если ошибки в определении априорных ковариационных матриц малы, то использовать это выражение несколько проще, чем (6.82). Однако более важным следствием, вытекающим из ф-лы (6.84) и касающимся точности оценок  и  является то, что согласно (6.84) ковариационная матрица вектора разности этих оценок пропорциональна ,  и . То есть, если при вычислении оценки используются ковариационные матрицы, отличающиеся от истинных на , то это приводит к увеличению на  дисперсий ошибок оценивания. Аналогичное замечание следует сделать относительно ф-лы (6.69), определяющей ковариационную матрицу вектора разности двух оценок максимального правдоподобия.

Приведенные выше соотношения позволяют оценить ухудшение точности оценок максимального правдоподобия и байесовских оценок при неправильном выборе априорных средних значений и ковариационных матриц. Показано, что оценка максимального правдоподобия всегда остается несмещенной. Однако байесовская оценка оказывается смещенной, если априорное среднее значение отлично от истинного, либо выбранная обратная ковариационная матрица  не равна нулю. Если же  принимается равной нулю, то байесовская оценка переходит в оценку максимального правдоподобия.

Исследуем теперь смещение последовательных оценок, возникающее из-за неточного знания априорных данных. Снова примем, что

,                       (6.85)

где случайные векторы  и  будем считать независимыми и нормальными с параметрами:

;    ;    ;    .

Однако при построении последовательной оценки  для параметра , вычисляемой на каждом шаге , , было принято, что априорное среднее значение ковариационная матрица этого параметра равны соответственно  и .

Сначала будем предполагать, что ковариационная матрица шума  уже выбрана и может считаться заданной, в то время как  и  неизвестны и вместо них будут использоваться оценки  и .

В соответствии с (6.73) имеем

,    (6.86)

где  — оценка по максимуму апостериорной плотности вероятности (или байесовская оценка при симметричной функции потерь) для параметра , вычисляемая по выборке . При  эта оптимальная оценка имеет вид

.                   (6.87)

Если теперь использовать предложенные оценки  и  вместо  и  и воспользоваться леммой об обращении матриц, то последнее выражение можно переписать следующим образом:

;   

При  получаем

.    (6.88)

Это выражение можно переписать следующим образом:

,

где ; .

Здесь снова использована лемма об обращении матриц. Повторяя подобные рассуждения для  можно установить следующее рекуррентное соотношение:

                        (6.89)

где

.                  (6.90)

Это и есть искомые алгоритмы последовательного оценивания. Полученные выражения являются частным случаем алгоритмов, описывающих фильтры Калмана и Винера, которые будут обсуждаться в следующей главе. Эти соотношения можно получить также непосредственно из общего выражения для оценки , если учесть, что

    (6.91)

Эти оба набора соотношений можно использовать для построения алгоритма последовательного вычисления оценки. Если размерность векторов  или  меньше размерности вектора , то набор соотношений (6.89) намного предпочтительнее с вычислительной точки зрения. Это объясняется тем, что в этом случае при вычислении значений оценки  требуется обращать матрицы более низкого размера. Очевидно также, что оба набора соотношений приводят к более сложным вычислениям, чем исходное выражение для оценки

.    (6.92)

Поэтому это выражение и следует использовать при практических вычислениях, если нет необходимости в последовательном получении значений оценок. Если же требуются последовательные алгоритмы, то необходимо использовать соотношения (6.89). Следует, однако, иметь в виду, что подобными рекомендациями можно руководствоваться не всегда. Обычно последовательные алгоритмы более предпочтительны с точки зрения их реализации по сравнению с непоследовательными.

Найдем теперь смещение оценки при использовании последовательного алгоритма. Пусть  — истинное среднее значение оцениваемого параметра. Тогда смещение

.    (6.93)

Отсюда следует, что смещение оценки стремится к нулю при , так что эта оценка асимптотически несмещена. Смещение уменьшается также с ростом априорной ковариационной матрицы . Кроме того,

                      (6.94)

так что при достаточно большом числе наблюдений априорное среднее значение и ковариационная матрица вектора  не оказывают существенного влияния на вычисляемые значения оценок. Однако при малых значениях  смещение оценки по максимуму апостериорной плотности вероятности, обусловленное неточностью априорных оценок среднего значения и ковариационной матрицы вектора , может быть существенным. Если выбранная матрица  отличается от истинной матрицы шума  то ковариационная матрица фактически вычисляемой оценки может быть найдена по ф-ле (6.78). Так что для ковариационной матрицы ошибки  получаем

    (6.95)

где  и  — предполагаемые, a  и  — истинные ковариационные матрицы. Выражение для смещения  было приведено выше. Заметим, что только в том случае, когда предполагаемые матрицы оказываются равными истинным, выражение для ковариационной матрицы  совпадает с приведенным ранее выражением для матрицы . В гл. 8 будет показано, что найденное здесь соотношение для ковариационной матрицы ошибок можно записать в форме разностного уравнения. Здесь же приведем выражение для ковариационной матрицы ошибок при использовании оценки  после достаточно большого числа шагов. Имеем

.    (6.96)

При  смещение и ковариационная матрица этой оценки стремятся к нулю, даже если ковариационная матрица шума неизвестна. Подчеркнем, однако, что эти выводы остаются справедливыми только для этого частного примера, в котором оцениваемый параметр не меняет своего значения от наблюдения к наблюдению. В общем случае, когда значения оцениваемого параметра изменяются во времени, и смещение оценки, и ковариационная матрица вектора ошибок не стремятся к нулю с ростом времени наблюдения или объема выборки .

Пример 6.12. Если предположить, что  и  являются скалярными величинами и дисперсия шума  не зависит от номера наблюдения, то полученные выше соотношения существенно упрощаются. Действительно, в этом случае совокупность алгоритмов последовательного оценивания (6.89) принимает вид

;    ;

;    .

Непоследовательная оценка и предполагаемая дисперсия этой оценки могут быть найдены в результате решения этих разностных уравнений. Так что

;    .

Смещение оценки

.

Дисперсия фактически вычисляемой оценки

.

Согласно (6.82) для дисперсии разности двух оценок получаем

.

Это выражение не удается привести к более простому виду, поэтому может оказаться полезной приближенная формула типа (6.84)

На рис 6.9 приведены графики, иллюстрирующие влияние априорной дисперсии на нормированное смещение оценки при . Если  намного больше, чем , смещение с ростом объема выборки быстро уменьшается. Поэтому если в практических задачах смещение оценки при малых  нежелательно, то значение  не следует брать слишком малым. Конечно, если истинное значение априорного среднего  известно и используется при вычислении оценки, то смещение отсутствует. На рис 6.10 приведены графики зависимости среднеквадратической ошибки оценивания для двух случаев. В первом из них ,  во втором случае исследовалась зависимость среднеквадратической ошибки  при , причем принятое значение дисперсии шума не совпадало с истинным.

Рис 6.9 Нормированное смещение оценки как функция объема выборки (пример 6.12)

Второй график рис. 6.10 справедлив также для случая, когда , однако значение априорной дисперсии

;

параметра  выбрано неверно. Во всех случаях предполагалось, что . Соотношения, необходимые для построения графиков, получены с использованием приближенного представления (6.84) Для рассматриваемых здесь случаев получаем

;    .

Рис 6.10 Дисперсии ошибок оценивания как функции от объема выборки  (пример 6.12)

Разность между значениями среднеквадратической ошибки оценивания при использовании указанных алгоритмов и минимально достижимой ошибки оказывается максимальной при объеме выборки  и уменьшается с ростом . Если неизвестными являются обе дисперсии  и , то тот же приближенный способ вычисления приводит к выражениям

;    .

Теперь разность между значениями среднеквадратических ошибок оказывается наибольшей при объеме выборки, совпадающем с ближайшим целым числом, превышающим . Если  то максимум этой разности всегда достигается при .

Аналогичные результаты можно получить для процессов с непрерывным временем. Для наблюдаемого процесса в этом случае можно записать

,                                       (6.97)

где вектор  и шум  независимы и являются нормальными, с параметрами:

;    ;                           

;    .

Соответствующая запись для дискретного времени, которая уже была использована выше, имеет вид (6.85), где теперь необходимо положить . Вновь предположим, что при определении алгоритмов оценивания неизвестная априорная дисперсия шума принята равной . Будем считать также, что возможны ошибки при выборе значений  и . Воспользовавшись уже известным предельным переходом, из (6.89) получаем следующие последовательные алгоритмы фильтрации при непрерывном времени:

    (6.98)

Явное выражение для оценки имеет вид

             (6.99)

 Смещение этой оценки

,               (6.100)

а матрица вектора ошибок

    (6.101)

Теперь нетрудно выписать аналогичные выражения для только что рассмотренного скалярного случая при непрерывном времени. Необходимые для этого рассуждения полезно провести читателю самостоятельно.

До сих пор при анализе ошибок оценивания не предпринимались попытки уточнить значение дисперсии шума. Теперь попытаемся это сделать. Будем рассматривать последовательность наблюдаемых случайных величин

,                 (6.102)

где случайные величины независимы, нормальны, имеют нулевое среднее значение и одну и ту же дисперсию . Будем исследовать байесовскую оценку для параметра , который является нормальным случайным вектором с известными моментами ; . В соответствии с (6.73) байесовская оценка

.    (6.103)

Отсюда ясно, что для того, чтобы воспользоваться этим выражением для вычисления значений оценки  необходимо знать дисперсию шума. Поскольку для построения байесовской оценки дисперсии шума потребовалось бы вводить плотность вероятности этой дисперсии, то здесь в качестве оценки для ковариационной матрицы  используем оценку максимального правдоподобия. Такой выбор будет более обоснованным, если относительно параметра , предположить, что он неслучаен и его значение неизвестно, а не считать его случайным. Подобные логические рассуждения приводят к выбору из двух возможных оценок оценки максимального правдоподобия. В примере 6.6 уже было показано, что в рассматривающихся здесь условиях оценки максимального правдоподобия для параметров  и  имеют вид

              (6.104)

Сразу же становится очевидным, что при попытке решать эту систему уравнений относительно оценок для параметров  или  неизбежно возникнут значительные трудности. Их можно обойти, если задачу оценивания сформулировать несколько иначе. А именно, от  -мерных векторных наблюдений ,  перейдем к  скалярным наблюдениям , .

Если предположить, что , то рассматриваемые оценки максимального правдоподобия примут вид

;                     (6.105)

.                        (6.106)

Теперь для вычисления значений оценки  не нужно знать значение оценки . В то же время значения оценки  используются при вычислении оценки .

Если необходимо указать последовательные алгоритмы оценивания, то можно воспользоваться подходом, который уже был приманен ранее для получения последовательных оценок [242]. Введем сначала обозначение . Заметим, что

.

Используя лемму об обращении матриц, получим

.

Для оценки максимального правдоподобия вектора состояния можно записать

; .

Объединяя эти два равенства, получаем

.

Снова используя лемму об обращении матриц применительно к матрице , имеем окончательно

.       (6.107)

Аналогичным образом можно найти последовательный алгоритм для оценки . В результате получаем

.

Эти последние два алгоритма могут быть использованы для последовательного адаптивного оценивания. Алгоритмы для более сложных случаев можно найти в работах [97, 208].

Псевдобайесовские оценки. Покажем, что при оценивании случайного параметра среднеквадратическая ошибка оценивания при использовании оценки максимального правдоподобия больше, чем при использовании байесовской оценки. Именно это имея в виду, будем говорить, что оценка максимального правдоподобия хуже байесовской. Основная причина такого соотношения оценок состоит в том, что при построении байесовской оценки учитываются некоторые априорные сведения об оцениваемом параметре, в то время как при отыскании оценок максимального правдоподобия подобные сведения игнорируются. Правда, к сожалению, неправильный выбор значений параметров априорных распределений приводит к появлению смещения байесовской оценки. Вычисление смещения в таких условиях может оказаться трудно разрешимой проблемой. Таким образом, желательно использовать байесовские оценки с тем, чтобы обеспечить минимально возможное значение среднеквадратической ошибки. Однако при этом необходимо предусмотреть подстройку значений параметров априорного распределения с целью уменьшения смещения оценки.

Рассмотрим линейную модель при дискретном времени, когда

,                   (6.109)

а  и  независимы и

    (6.110)

Ранее уже было найдено выражение для оценки максимального правдоподобия для этого случая при дополнительном предположении, что шум  является нормальным. Чтобы найти оценку максимального правдоподобия, основывающуюся на одном единственном наблюдении, необходимо максимизировать значение плотности . Это приводит к следующему выражению:

.                   (6.110)

Условные математическое ожидание и ковариационная матрица этой оценки равны соответственно:

         (6.112)

Таким образом, эта оценка является несмещенной, а ее ковариационная матрица

              (6.113)

и совпадает с условной ковариационной матрицей.

Чтобы найти оценку максимального правдоподобия, основывающуюся на выборке объема , необходимо максимизировать значение плотности вероятности , где  — выборка объема . В соответствии с (6.57) имеем

.                (6.114)

Эта оценка не смещена, так как

,                                                 (6.115)

а ее ковариационная матрица

.    (6.116)

Ранее было получено также выражение для оценки по максимуму апостериорной плотности вероятности для случая, когда параметр  являлся нормальной случайной величиной. Если оценка должна основываться на одном наблюдении , то ее значения отыскиваются путем максимизации апостериорной плотности вероятности . В соответствии с (6.73) имеем

.                       (6.117)

Эта оценка является несмещенной, так как . Согласно (6.74) ее ковариационная матрица

.       (6.118)

Если же оценка по максимуму апостериорной плотности вероятности должна основываться на выборке объема , то для ее отыскания необходимо максимизировать значение апостериорной плотности вектора  при условии, что значение выборки  фиксировано. Эта процедура максимизации приводит к следующему выражению для оценки:

.          (6.119)

Можно также показать, что

.                              (6.120)

Сравнивая матрицы (6.116) и (6.120), нетрудно заметить, что  можно записать в виде

.                             (6.121)

Используя теперь лемму об обращении матриц, получаем

.    (6.122)

Заметим, что вторая матрица в правой части этого равенства неотрицательно определена. Это означает, что среднеквадратическая ошибка оценивания при использовании оценки по максимуму апостериорной плотности вероятности всегда меньше или, в крайнем случае, равна ошибке оценивания при применении оценки максимального правдоподобия.

Если среднее значение и ковариационная матрица параметра  известны, но функциональный вид плотности вероятности этого параметра неизвестен, то оценку по максимуму апостериорной плотности вероятности найти нельзя. Поскольку оценка  при нормальных оцениваемом параметре и шуме зависит только от среднего значения и ковариационных матриц этого параметра и шума, то можно попытаться использовать оценку  в указанных выше условиях даже при неизвестной плотности вероятности параметра . Эту оценку будем называть псевдобайесовской. Как будет показано в следующем разделе, подобная псевдобайесовская оценка эквивалентна линейной оценке с минимальной среднеквадратической ошибкой.

Среднеквадратические ошибки оценивания при использовании псевдобайесовской оценки и оценки по максимуму апостериорной плотности вероятности одинаковы. Это следует из того, что алгоритмы этих оценок одинаковы, а три вычислении соответствующих им среднеквадратических ошибок используются только моменты второго порядка. Если распределения оцениваемого параметра и шума являются нормальными, то наилучшей будет оценка по максимуму апостериорной плотности вероятности. Если же распределение вектора  отлично от нормального, то наилучшей линейной оценкой оказывается псавдобайесовская оценка. В этом случае, вообще говоря, могут существовать нелинейные алгоритмы оценивания, обеспечивающие меньшую среднеквадратическую ошибку.

Предположим теперь, что среднее значение  и ковариационная матрица  априорного распределения неизвестны. Можно найти оценки этих параметров, основывающиеся на выборке объема , и использовать эти оценки при построении псевдобайесовской оценки для параметра . Оценки параметров априорного распределения обозначим соответственно  и . Если эти оценки используются при построении псевдобайесовской оценки, то ее будем называть эмпирической псевдобайесовской оценкой. Условия оценивания при этом оказываются точно такими же, как и при построении оценки (6.75), т. е. для эмпирической псевдобайесовской оценки, основывающейся на выборке объема , можно записать

.     (6.123)

Соответствующая корреляционная матрица вектора ошибок определяется тем же выражением, что и матрица (6.79), т. е.

                      (6.124)

Построенная таким образом псевдобайесовская оценка смещена. Ее смещение можно найти с помощью соотношения (6.76). Так что

.                    (6.125)

Можно показать, что если оценки  и  являются выборочным средним и выборочной ковариационной матрицей соответственно и вычисляются по результатам  априорных наблюдений, то эмпирическая псевдобайесовская оценка параметра  асимптотически не смещена. Это является следствием несмещенности выборочного среднего .

Если среднее значение и ковариационная матрица параметра  неизвестны, то в качестве оценок  и  будем использовать оценки максимального правдоподобия. К сожалению, в том случае, когда априорная плотность вероятности вектора  не является нормальной, выборочное среднее и выборочная ковариационная матрица  априорных оценок параметра  не являются статистически независимыми оценками. Наличие статистической зависимости между этими оценками существенно усложняет вычисление корреляционной матрицы вектора ошибок при использовании эмпирической псевдобайесовской оценки. Поэтому здесь будем предполагать, что случайные векторы  и  являются нормальными.

Предположим далее, что можно осуществить  наблюдений. Пусть в течение каждого наблюдения записывается выборка объемом . Будем считать также, что значение параметра  случайным образом и независимо изменяется от наблюдения к наблюдению. Вычислим  значений оценки максимального правдоподобия

,    ,    (6.126)

где  — оценка значения параметра  при -м наблюдении, основывающаяся на выборке

объема . Очевидно, что

;    .    (6.127)

Таким образом, при конечном объеме выборки  оценка  сама является нормальной случайной величиной. Так как для любых двух оценок  и  , то эти оценки статистически независимы. Напомним здесь, что если взаимная ковариационная матрица двух нормальных случайных векторов равна нулю, то эти векторы независимы.

В качестве среднего значения и ковариационной матрицы априорной плотности вероятности вектора  используем выборочное среднее и выборочную ковариационную матрицу случайных векторов , . Эти оценки в рассматриваемых здесь условиях являются оценками максимального правдоподобия, поскольку случайные величины ,  нормальны и независимы. Совсем необязательно, чтобы все выборки имели один и тот же объем. Однако здесь, ради простоты, будем предполагать, что такое равенство имеет место. Поэтому, опустив нижний индекс , запишем

                 (6.128)

Оценки  и  являются случайными величинами. Поскольку  представляет собой линейную комбинацию нормальных случайных величин, то она тоже является нормальной величиной. Первые два момента этой оценки при одинаковых объемах выборок в разных наблюдениях определяются соотношениями:

;    .    (6.129)

В простейшем скалярном случае, когда дисперсия шума не зависит от номера наблюдения и , последние два равенства принимают вид

;    .                            (6.130)

Здесь величины  и  являются скалярными аналогами матриц  и .

Оценка  также является случайной. Элементы нормированной случайной матрицы  имеют -распределение с  степенями свободы. Плотность вероятности диагональных элементов матрицы  имеет вид

    (6.131)

где  — гамма-функция. Среднее значение оценки  и среднеквадратические ошибки при ее использовании определяются соотношениями:

;     .    (6.132)

Отметим, что так как случайные величины  нормальны и независимы, то выборочные моменты  и  также независимы [48].

Можно показать [119], что если при построении эмпирических псевдобайесовских алгоритмов оценивания используются оценки  и , то получающиеся при этом оценки оказываются несмещенными, т. е. математическое ожидание таким образом построенной эмпирической  псевдобайесовской оценки, имеющей вид (6.123), равно среднему значению оцениваемого параметра

.                                             (6.133)

Среднеквадратическая ошибка этой оценки

.    (6.134)

Для множителя  в случае скалярного параметра в [119] найдено следующее выражение:

,    (6.135)

где .    (6.136)

Интеграл в этом выражении вычислить точно не удается. Однако при больших объемах выборок  возможно приближенное вычисление. В результате получаем

.    (6.137)

Ошибка вычисления при этом составляет менее 4% при  и менее 1,5% при .

Рис. 6.11.  как функция от объема выборки .

На рис. 6.11 приведены результаты численных расчетов значений множителя  для различных значений  и . Заметим, что параметр  фактически является отношением мощности сигнала к общей мощности принятого колебания. Таким образом, если объем выборки  больше десяти, то эмпирическая псевдобайесовская оценка намного лучше, чем оценка максимального правдоподобия, если критерием сравнения является величина среднеквадратической ошибки оценивания. Причем выигрыш в точности увеличивается с уменьшением значения параметра . Другими словами, при малых отношениях сигнал/шум эмпирические псевдобайесовские оценки могут обеспечить значительно более высокую точность оценивания по сравнению с оценками максимального правдоподобия (или с байесовскими оценками при неправильно установленных значениях параметров априорных распределени, когда нет возможности оценить эти параметры). Если объем выборки  неограниченно возрастает, то эмпирическая псевдобайесовская оценка почти эквивалентна байесовской оценке, использующей точные значения параметров априорного распределения вектора . Это объясняется тем, что при больших объемах выборки значения оценок максимального правдоподобия мало отклоняются от истинных значений оцениваемых параметров. При больших объемах выборки  для вычисления  можно воспользоваться следующим приближенным выражением:

.                    (6.138)

Если бы оценка  была несмещенной, то рассмотренная выше эмпирическая псевдобайесовская оценка обеспечивала бы то же значение среднеквадратической ошибки, что и байесовская оценка. Однако, как это следует из (6.132), оценка  является смещенной. Если объем выборки  неограниченно увеличивается, то смещение оценки  стремится к нулю. Если при этом еще и  неограниченно увеличивается, то можно доказать, что .

Пример 6.13. Снова рассмотрим скалярный (одноканальный) вариант дискретной адресной системы с произвольным порядком доступа, рассмотренной ранее в примере 6.3. Принимаемый сигнал, модулированный по амплитуде, искажается аддитивным нормальным шумом с моментами:

;    .

Обсудим возможность использования псевдобайесовской оценки для оценивания скалярного параметра  по результатам наблюдений, полученным за время -й записи:

;    .

Здесь верхний индекс указывает на то, что обработке доступен целый набор подобных записей.

Будем предполагать, что  является нормальной случайной величиной, а  и  независимы при любых неравных значениях индексов  и . На рис. 6.3 приведена структурная схема оптимального приемника, найденная в примере 6.3. Будем считать, что отношение сигнал/шум по мощности на входе этого приемника намного меньше единицы. Этот случай является типичным для многих задач техники связи. Пусть ;  являются истинными значениями параметров априорного распределения величины . Перейдем к модели с дискретным временем и запишем , , где

;    .

Снова предположим, что

;    .

Легко показать, что если , то дисперсия выходного сигнала байесовского приемника и приемника максимального правдоподобия равна . Следовательно, отношение сигнал/шум на выходе такого приемника можно определить как отношение дисперсии  к дисперсии ошибки оценивания. Для приемника максимального правдоподобия дисперсия ошибки оценивания определяется выражением (6.106). Поэтому для отношения сигнал/шум (на -м шаге) на выходе приемника максимального правдоподобия можно записать

.

Эта формула справедлива для обеих моделей наблюдаемого процесса с дискретным и непрерывным временем.

Для байесовского приемника на основании ф-лы (6.119) получаем

Эта формула остается справедливой и для псевдобайесовского приемника, поскольку оцениваемый параметр  является нормальной случайной величиной. В правой части этой формулы можно выделить сомножитель, являющийся отношением сигнал/шум на выходе приемника максимального правдоподобия. В результате получаем

,

где .

Здесь  определяется ф-лой (6.136). Можно воспользоваться соотношением (6.134) и выписать выражение для отношения сигнал/шум на выходе приемника, реализующего эмпирическую псевдобайесовскую оценку . Коэффициент  определяется ф-лой (6.135). При больших объемах выборки  можно получить приближенное аналитическое выражение, характеризующее выигрыш в точности оценивания при применении псевдобайесовской оценки по сравнению с оценкой максимального правдоподобия. Для этого достаточно воспользоваться приближенным соотношением (6.137).

Для рассмотренного здесь примера значение отношения сигнал/шум на выходе байесовского приемника превышает отношение сигнал/шум на выходе приемника максимального правдоподобия ровно в  раз, причем обозначение  ранее было введено для отношения среднеквадратических ошибок двух оценок

.

Выигрыш в точности оценивания при использовании эмпирической псевдобайесовской оценки обратно пропорционален величине , которая представляет собой отношение среднеквадратических ошибок двух оценок , причем . При малых отношениях сигнал/шум на входе, т е. при , уменьшение среднеквадратической ошибки оценивания при использовании байесовской или эмпирической псевдобайесовской оценки вместо оценки максимального правдоподобия оказывается значительным. Это следует из выражения для коэффициента  и графиков для  приведенных на рис. 6.10.