§ 143. Случай нормально распределенных сигнала и помехи

Применим теперь изложенную в предыдущих двух параграфах теорию к частному случаю, когда функция потерь является произвольной функцией ошибки:

сигнал представляет собой линейную функцию (122.10) случайных величин и случайной функции К, а случайный вектор распределен нормально. В примере 1 § 141 и в примере предыдущего параграфа были рассмотрены частные случаи этой задачи, и в обоих случаях оптимальный оператор оказался линейным. Мы докажем сейчас, что это положение является общей закономерностью. При сформулированных общих условиях для любой функции потерь вида (143.1) оптимальный оператор в классе всех возможных операторов является линейным (в общем случае неоднородным) оператором.

Плотность вероятности случайного вектора выражается в данном случае формулой

где элементы матрицы С, обратной по отношению к корреляционной матрице случайного вектора определитель матрицы С. На основании формул (143.1), (124.9), (141.2) и (143.2) интеграл (141.22) в данном случае принимает вид:

Принимая аргумент функции за новую переменную интегрирования вместо одной из переменных мы можем выполнить интегрирование по остальным переменным пользуясь формулой (23.57). В результате приведем интеграл (143.3) к виду (141.32). Однако в данном случае это преобразование гораздо проще выполняется при помощи чисто вероятностных методов. Заметим, что интеграл (143.3) пропорционален математическому ожиданию случайной величины где случайная величина представляет собой линейнукх комбинацию

нормально распределенных случайных величин совместная плотность вероятности которых выражается формулой

Здесь несущественная для наших целей постоянная (зависящая от величин Так как величина по доказанному в § 33 также распределена нормально и ее математическое ожидание и дисперсия выражаются через математические ожидания, дисперсии и корреляционные моменты случайных величин по формулам (19.13) и (20.17), то не представляет затруднений найти плотность вероятности случайной величины и выразить математическое ожидание случайной величины при помощи формулы (10.3) простым интегралом.

Математические ожидания случайных величин можно определить как значения переменных при которых плотность вероятности (143.5) максимальна. Приравнивая нулю значения частных производных показателя степени в формуле (143.5) по переменным при получим для определения математических ожиданий случайных величин уравнения

Пользуясь формулой (124.13), можно представить уравнения (143.6) в виде:

Решая эти уравнения, получим:

где -элементы матрицы, обратной по отношению к матрице (см. Дополнение, I). На основании доказанного в § 23 матрица представляет собой корреляционную матрицу случайного вектора

Для вычисления математического ожидания и дисперсии случайной величины определяемой формулой (143.4), воспользуемся формулами (19.13) и (20.17). Тогда получим:

и плотность вероятности случайной величины выразится формулой

Применяя формулу (10.3), приходим к заключению, что математическое ожидание случайной величины а следовательно, и интеграл (143.3) пропорциональны функции

Пусть значение переменной х, при котором интеграл (143.12) принимает наименьшее значение. Тогда значение переменной при котором интеграл (143.12), а следовательно, и интеграл (143.3) достигают минимума, определится на основании (143.9) формулой

Подставляя сюда выражение (143.8), получим:

или

где для краткости положено:

На основании формул (141.30) и (143.15) оптимальный оператор выразится в данном случае формулой

Эта формула показывает, что оптимальный оператор при произвольной функции потерь вида (143.1) представляет собой неоднородный линейный оператор, что и доказывает высказанное в начале параграфа утверждение.

Так как матрица является обратной по отношению к матрице то величины входящие в формулы (143.15) и (143.18), удовлетворяют системе уравнений (124.10). Следовательно, однородная часть оптимального оператора не зависит от вида функции потерь и получается для всех функций потерь одинаковой, такой же, как в случае критерия минимума средней квадратической ошибки. От вида функции потерь в выражении оптимального оператора (143.18) может зависеть только систематическое смещение А, которое является на основании (143.17) функцией величины Таким образом, мы доказали, что если сигнал и помеха распределены нормально, то для любой функции потерь зависящей только от текущего значения ошибки, оптимальный оператор в классе всех возможных операторов представляет собой неоднородный линейный оператор, причем от вида функции потерь может зависеть только систематическое смещение А в формуле (143.18).

Легко видеть, что доказанное предложение справедливо и в том случае, когда сигнал является вектором и функция потерь зависит от всех составляющих вектора ошибки. Предоставляем читателю самостоятельно внести необходимые изменения в предыдущие выкладки для этого случая, предполагая, что число измерений вектора не превышает В случае, когда всегда можно добавить к наблюдаемой функции линейную комбинацию произвольных функций, представимых разложением (141.10), с нормально распределенными случайными коэффициентами, математические ожидания которых равны нулю, и таким образом свести задачу к случаю После этого, устремив дисперсии всех добавленных случайных величин к нулю, убедимся в том, что доказанное предложение справедливо и при

Рассмотрим теперь более подробно частный случай, когда функция потерь является неубывающей функцией модуля ошибки. В этом случае четная функция и формула (143.12) принимает вид:

Дифференцируя эту формулу, получим:

Отсюда видно, что

и, следовательно, при функция может иметь экстремум. Дифференцируя формулу (143.20), находим вторую производную функции

откуда

Интегрированием по частям непосредственно убеждаемся в том, что

А так как при положительных и является неубывающей функцией, то имеют место неравенства

причем знак равенства не может быть одновременно в обеих формулах (143.25), так как функция I не может быть постоянной. Следовательно, первый интеграл в формуле (143.23) всегда больше второго и

Таким образом, в случае, когда является неубывающей функцией модуля ошибки, интеграл (143.12) имеет минимум при и формула (143.17) для систематического смещения принимает вид:

В этом случае систематическое смещение А не зависит от вида функции потерь I и, следовательно, независимо от вида функции потерь оптимальным оператором в классе всех возможных операторов будет тот же неоднородный линейный оператор, который получается по критерию минимума средней квадратической ошибки.

Для того чтобы непосредственно убедиться в том, что формулы (143.18) и (143.27) определяют тот же оператор, который получается по критерию минимума средней квадратической ошибки, достаточно показать, что математическое ожидание ошибки для оптимального оператора, определяемого формулами (143.18) и (143.27), равно нулю. На основании формул (143.18), (122.9), (124.6), (143.27), (124.13), (124.10), (124.9) и (122.10)

Отсюда следует, что математическое ожидание ошибки для оптимального оператора равно нулю. Этим свойством обладает оператор (140.22), реализующий минимум средней квадратической ошибки в случае нормального распределения сигнала и помех. Таким образом, систематическое смещение в данном случае не зависит от вида функции потерь и получается таким же, как и при определении оптимального оператора по критерию минимума средней квадратической ошибки.

Итак, мы доказали, что все критерии вида (119.10), соответствующие функциям представляющим собой неубывающие функции модуля ошибки, в случае нормального распределения сигнала и мех дают тот. же оптимальный оператор в классе всех возможных операторов, что и критерий минимума средней квадратической ошибки.

Все изложенные выводы немедленно распространяются на случай, когда величины не являются случайными, а представляют собой произвольные неизвестные числа. Этот случай можно рассматривать как предельный, когда дисперсии нормально распределенных случайных величин неограниченно увеличиваются. При этом, как было показано в § 122, величины стремятся к нулю, и решение задачи можно получить, положив во всех предыдущих формулах При этом величины также будут равны нулю, и систематическое смещение А, определяемое формулой (143.17), будет равно Следовательно, если в частности, если функция I является неубывающей функцией модуля ошибки, оптимальный оператор будет однородным линейным оператором. Корреляционная матрица случайного вектора будет при обратной по отношению к матрице и величины будут удовлетворять системе уравнений (124.10) при или, что то же, будут определяться условиями несмещенности (122.31).

Таким образом, при нормальном законе распределения помех оптимальная система для воспроизведения любых линейных комбинаций заданных функций с неизвестными заранее коэффициентами в классе всех возможных систем является линейной для любого бейесова критерия, соответствующего функции зависящей только от ошибки системы. При этом, если функция является неубывающей функцией модуля ошибки, то оптимальная система реализует минимум дисперсии ошибки при дополнительных условиях несмещенности (122.31).

К этим выводам можно прийти и другим путем, например, рассматривая предельный случай равномерного распределения случайного вектора при неограниченном увеличении дисперсий всех величин При равномерном распределении случайного вектора в любой конечной области постоянная

плотность вероятности в формуле (141.20) сокращается. Переходя после этого к пределу при распространении области возможных значений вектора на все -мерное пространство, мы выразим предельную условную плотность вероятности величин относительно величин формулой (141.20) при Следовательно, и в интегралах (141.21) и (141.22) функция заменится в этом случае единицей и интеграл (141.22) при будет частным случаем интеграла в формуле (143.3), когда все величины равны нулю.

Изменения, которые необходимо произвести в предыдущих рассуждениях в случае, когда не все дисперсии случайных величин а только некоторые из них неограниченно возрастают, очевидны.

Легко видеть, что все изложенное остается в силе и в том случае, когда некоторые из функций не могут быть представлены разложением (141.10). Если ни одна из них не выражается разложением (141.10), то на основании изложенного в предыдущем параграфе задача приводится к непосредственному отысканию минимума величины Следовательно, будет линейной функцией величин что и доказывает справедливость высказанного утверждения. Точно так же все сказанное выше для случая, когда сигнал является векторной случайной функцией, остается в силе, если некоторые из функций не могут быть представлены разложением (141.10).