Дисперсия оценки градиента

Градиенты, измеренные представленными на рис. 5.1 и рис. 5.2 способами, искажены шумом, так как вычисления основаны на измерениях СКО в шуме. Поэтому первым шагом определения дисперсии оценки градиента является расчет дисперсии величины s, где в соответствии с (2.13). Положим, что оценка величины , которую обозначим через основана на N отсчетах

Для ознакомления с такими фундаментальными понятиями, как дисперсия, моменты распределения и т. п., можно воспользоваться любым из элементарных источников по математической статистике или теории вероятностей [2 —5,7]. Вывод дисперсии и оценки градиента начнем, прежде всего, с определения несмещенной оценки момента величины

Из этого определения видно, что среднее значение величины равно математическому ожиданию величины , т. е.

Для примера по (5.18) вычислим четвертый момент в предположении, что является гауссовой случайной величиной с нулевым средним, т. е. плотность вероятности случайной величины , обычно обозначаемая через представляет собой нормальный закон с нулевым средним и стандартным отклонением а. В этом случае

Аналогично при заданной плотности можно найти любой момент распределения. Отметим, что при в общем случае

После определения первого момента найдем дисперсию оценки момента (5.17) как математическое ожидание квадрата отклонения:

Подставляя сюда (5.17) и (5.18), имеем

Для упрощения выражения (5.22) нужно члены с выделить из всей суммы N. При каждый член суммы имеет вид . Будем считать, что величины ; представляют собой независимые отсчеты, и поэтому математическое ожидание произведения равно произведению математических ожиданий. Следовательно,

Подставим теперь в (5.22) соотношение (5.23) и заметим, что сумма в (5.22) состоит из слагаемых с N членами с . В результате

Соответственно, поскольку как это следует из (5.20), дисперсия величины

Значения а в (5.25), естественно, зависят от закона распределения случайной величины так как согласно (5.18) каждое значение а есть среднее значение мощности сигнала ошибки . Предположим, например, что имеет нормальное распределение с нулевым средним и дисперсией . Тогда в соответствии с (5.19) четвертый момент а второй . Поэтому в данном случае (5.25) принимает вид

Таким образом, если имеет нормальное распределение с нулевым средним, то дисперсия оценки пропорциональна и обратно пропорциональна

На основании этого результата для нормального распределения случайной величины можно предположить, что в общем случае дисперсия величины

Можно показать, что для случайной величины ей, имеющей нормальное распределение с нулевым средним, , а с ненулевым Для негауссовского распределения К обычно также несколько меньше 2. При негауссовском распределении случайной величины ел с ненулевым средним К может уменьшаться или увеличиваться в зависимости от конкретного вида распределения.

В табл. 5.1 приведены дисперсии и области изменения параметра К для нескольких различных распределений случайной величины . Видно, что для всех приведенных в табл. 5.1 законов распределения параметр или достаточно близок к этому значению, поэтому в дальнейшем будем считать .

В качестве примера негауссовского распределения из табл. 5.1 рассмотрим равномерно распределенную случайную величину с нулевым средним и стандартным отклонением .

Таблица 5.1

Тогда аналогично выражениям (5.19) моменты распределения четных порядков

Подставляя этот результат в (5.25), имеем

Поскольку в данном случае среднее значение , то , т. е. (5.29) совпадает с результатом, приведенным в табл. 5.1. Остальные законы распределения, представленные в табл. 5.1, рассмотрены в упражнениях к данной главе.

Теперь, когда получены формулы для дисперсии величины можно перейти к вычислению дисперсии оценки градиента. При этом следует иметь в виду, что метод измерения производной состоит в определении разности между значениями По-прежнему будем считать, что отсчеты сигнала ошибки (значения ) являются независимыми. Тогда можно показать, что используемые при измерении производной значения также являются независимыми. Пусть v, как и раньше, — некоторый компонент вектора . Тогда по аналогии с (5.3) оценка соответствующего компонента градиента

При упомянутом выше предположении о независимости дисперсия этой оценки равна сумме дисперсий обоих слагаемых в (5.30).

Кроме того, дисперсия величины , где с — константа, равна дисперсии величины умноженной на Поэтому подставляя (5.27) в (5.30), при получаем

Этот результат — общий для дисперсии оценки компонента градиента, если отдельные измерения величины являются независимыми.

Если положить, что значение в (5.31) мало, а в результате адаптивного процесса получено решение, близкое к вектору , то оба значения величины в (5.31) приближенно равны

В этом случае (5.31) упрощается:

Поскольку значения N и одинаковы для оценок всех компонентов вектора градиента и сделано предположение, что отсчеты величины используемой во всех оценках, независимы, ошибки всех оценок независимы и имеют одну и ту же дисперсию. В соответствии с этим ковариационная матрица вектора градиента, найденного на итерации,