§ 140. Определение оптимального оператора по критерию минимума средней квадратической ошибки в классе всех возможных операторов

Уравнение (120.2), определяющее оптимальный оператор по критерию минимума средней квадратической ошибки, очень легко решается в том случае, когда класс операторов в котором ищется оптимальный оператор, представляет собой множество всех операторов, действующих над наблюдаемой функцией Очевидно, что множество всех операторов такого типа представляет собой линейное пространство. Следовательно, оптимальный оператор в классе всех возможных операторов, действующих над наблюдаемой случайной функцией определяется уравнением (120.2).

Для того чтобы найти общее решение уравнения (120.2), заметим, что вероятностное осреднение при определении математического ожидания в уравнении (120.2) в соответствии с формулой (17.9) можно вести в два приема: сначала произвести осреднение по всем возможным реализациям случайной функции при фиксированной реализации случайной функции а потом произвести осреднение результата по всем возможным реализациям случайной функции Иными словами, сначала определить условное математическое ожидание относительно наблюдаемой случайной функции а потом найти математическое ожидание этого условного математического ожидания с учетом случайности наблюдаемой функции Тогда получим:

Принимая во внимание, что условное математическое ожидание в этой формуле вычисляется при фиксированной реализации случайной функции и пользуясь свойствами математических ожиданий, можем написать:

Подставляя это выражение в (140.1), получим:

На основании этой формулы уравнение (120.2) принимает вид:

Этому уравнению, а следовательно, и уравнению (120.2) можно, очевидно, удовлетворить, приняв

Таким образом, общим решением уравнения (120.2) является условное математическое ожидание сигнала относительно наблюдаемой случайной функции Операция условного математического ожидания относительно случайной функции определяет в данном случае функцию аргумента зависящую от реализации случайной функции т. е. является оператором (см. определение оператора в § 81). Следовательно, формула (140.5) определяет оптимальный оператор по критерию минимума средней квадратической ошибки в классе всех возможных операторов. Формула (140.5) определяет также оптимальный оператор по критерию минимума средней квадратической ошибки в любом классе операторов содержащем оператор условного математического ожидания сигнала относительно наблюдаемой случайной функции Легко видеть, что формула (140.5) является обобщением на случайные функции формулы (24.1), решающей задачу квадратического приближения для обычных случайных величин.

Выразив случайную функцию каноническим разложением, можно получить из формулы (140.5) явное выражение оптимального оператора. Так как реализация случайной функции вполне определяется значениями случайных коэффициентов канонического разложения то условное математическое ожидание сигнала относительно случайной функции равно условному математическому ожиданию сигнала относительно случайных величин Поэтому формула (140.5) может быть переписана в виде:

Для простоты мы будем в дальнейшем считать случайные функции действительными и в соответствии с этим пользоваться каноническим разложением случайной функции в действительной форме. Тогда линейные функционалы и случайные величины также будут действительными. Случай комплексных функций отличается лишь некоторым усложнением формул, и читатель легко рассмотрит его самостоятельно. Выражая условное математическое ожидание через условную одномерную плотность вероятности случайной функции относительно случайных величин можем представить формулу (140.6) в виде:

Но условная плотность вероятности случайной функции относительно случайных величин может быть выражена через

совместную плотность вероятности значения случайной функции при данном значении аргумента 5 и случайных величин при помощи формул (16.17) и (15.17). Тогда формула (140.7) примет вид:

Выражая случайные коэффициенты канонического разложения формулой (60.1), получим:

Формулы (140.7) и (140.9) или формулы (140.8) и (140.9) дают явное выражение оптимального оператора.

Для того чтобы получить явное выражение оптимального оператора в более общей форме, можно воспользоваться более общим выражением (62.1) коэффициентов канонического разложения Тогда получим:

Формулы (140.7) и (140.10) или формулы (140.8) и (140.10) дают явное выражение оптимального оператора в общей форме.

Вычислим минимальную среднюю квадратическую ошибку, соответствующую оптимальному оператору, определяемому формулой (140.5). По определению имеем:

Но первое слагаемое в полученном выражении равно нулю, так как уравнение (120.2) удовлетворяется для любого оператора В, в том числе и для Следовательно, на основании (140.5) и (17.9)

Но

Подставляя это выражение в (140.12), получим:

Формула (140.2) показывает, что условное математическое ожидание сигнала относительно наблюдаемой случайной функции дает минимум условной средней квадратической ошибки при фиксированной реализации случайной функции Следовательно, определяемый формулой (140.5) оператор А является оптимальным для каждой реализации наблюдаемой функции Иными словами, система, определяющая оценку сигнала по формуле (140.5), является оптимальной для каждой конкретной реализации входной функции. В этом состоит отличие системы, работающей по формуле (140.5), от оптимальных линейных систем, определяемых методами предыдущей главы, которые, как правило, оказываются оптимальными лишь в среднем для всех возможных реализаций входной функции.

Минимальная условная средняя квадратическая ошибка, соответствующая оптимальному оператору (140.5) при каждой данной реализации наблюдаемой функции на основании формул (140.12) и (140.14) равна условной дисперсии сигнала относительно наблюдаемой функции.

Применим полученные формулы для нахождения оптимального оператора среди всех возможных операторов в случае, когда векторная случайная функция распределена нормально. В этом случае совместный закон распределения случайной функции и случайных величин на основании результатов § 88 также будет нормальным, так как случайные величины определяются формулой (140.9) или формулой (140.10) как результат линейного преобразования случайной функции Поэтому для вычисления условного математического ожидания в формуле (140.6) можно воспользоваться формулой (23.45) для условного математического ожидания составляющей нормально распределенного случайного вектора. Тогда получим:

где алгебраическое дополнение элемента, стоящего на пересечении первой строки и столбца в определителе корреляционной матрицы случайного вектора, составляющими которого являются Принимая во внимание, что случайные коэффициенты канонического разложения не коррелированы, можем выразить определитель формулой

где корреляционный момент значения случайной функции при данном значении аргумента и случайной величины

дисперсия случайной величины Тогда будем иметь:

Так как в строке последнего определителя все элементы кроме первого равны нулю, то, разлагая его по элементам строки, получим:

Подставляя выражения (140.17) и (140.19) в формулу (140.15), получим:

Подставляя сюда выражение (140.9) случайных величин получим:

Легко видеть, что эта же формула получается при применении метода § 134 для решения уравнения (123.7), определяющего совместно с формулой (123.6) оптимальный неоднородный линейный оператор в случае непрерывной области наблюдения Точно так же, подставляя в формулу (140.20) более общее выражение (140.10) случайных величин получим:

Эта же формула получается при применении метода § 135 для решения уравнения (123.7), определяющего совместно с формулой (123.6) оптимальный неоднородный линейный оператор в общем случае.

Таким образом, мы пришли к следующему важному общему результату: в случае нормального распределения наблюдаемой случайной функции и сигнала оптимальный с точки зрения критерия минимума средней квадратической ошибки оператор в классе всех возможных операторов является неоднородным линейным оператором.

Задача определения оптимального оператора по критерию экстремума данной функций математического ожидания и дисперсии ошибки по доказанному в § 121 сводится в случае скалярного сигнала к квадратическому приближению случайной функции где - неопределенный параметр. Поэтому оптимальный с точки зрения критерия экстремума данной функции математического ожидания и дисперсии ошибки оператор в классе всех возможных операторов определяется формулой, которая получается из (140.5) прибавлением параметра к сигналу

Применив для определения один из двух методов, изложенных в § 121, мы полностью определим искомый оптимальный оператор. Условное математическое ожидание в формуле (140.23) может быть выражено через соответствующие плотности вероятности формулой (140.7) или (140.8).

Для вычисления средней квадратической ошибки, соответствующей оптимальному оператору, заметим, что в данном случае первое слагаемое правой части формулы (140.11) на основании уравнения (121.14) равно Следовательно, эта величина добавится и в правой части формулы (140.14). Поэтому на основании (140.23) и (17.9) получим:

На основании тех же формул (140.23) и (17.9) математическое ожидание ошибки для оптимального оператора будет равно:

Формулы (140.24) и (140.25) показывают, что границей области плоскости соответствующей классу всех возможных операторов, также является некоторая парабола, обращенная выпуклостью вниз. Эта парабола, конечно, целиком лежит ниже найденных в §§ 124 и 139 парабол, ограничивающих области, соответствующие классу всех линейных операторов и классу всех интегральных операторов.

Если векторная случайная функция распределена нормально, то на основании формул (140.21) и (140.22) оптимальный с точки зрения критерия экстремума данной функции математического ожидания и дисперсии ошибки оператор в классе всех возможных операторов является неоднородным линейным оператором.

Заметим, что для вычисления условного математического ожидания в формулах (140.5) и (140.23) часто бывает удобно

пользоваться каноническим разложением не наблюдаемой функции а некоторой другой случайной функции X, входящей в состав наблюдаемой функции Z [например, случайной функции X в формуле (122.9)]. При этом наблюдаемая случайная функция выразится разложением, которое не является каноническим. Такое разложение наблюдаемой случайной функции будет получено в следующем параграфе.

Пример. Определить оптимальную систему, предназначенную для воспроизведения постоянного случайного сигнала для случая, когда этот сигнал поступает на вход системы вместе с независимой от него нормально распределенной помехой Сигнал равномерно распределен в интервале Качество системы оценивается средней квадратической ошибкой.

В данном случае наблюдаемая функция и сигнал выражаются формулами

Выразим каноническим разложением (134.1) помеху X и определим случайные величины

где

В следующем параграфе будет показано, что при весьма общих условиях реализация наблюдаемой функции полностью определяется заданием значений всех случайных величин и наоборот. Предполагая эти условия выполненными, мы можем заменить в формуле (140.5) условное математическое ожидание относительно случайной функции условным математическим ожиданием относительно совокупности всех случайных величин Тогда получим:

где условная плотность вероятности величины относительно совокупности всех случайных величин Так как случайные величины как результат линейного преобразования (135.4) нормально распределенной случайной функции X, распределены нормально, то вследствие (140.27) условное распределение величин относительно нормально. При этом условное математическое ожидание величины равно а ее условная дисперсия равна Поэтому условная плотность вероятности величины легко находится по формулам (16.17) и (15.17). В результате получим:

где

Формула (140.30) является частным случаем общей формулы (141.20), которая будет выведена в следующем параграфе. Подставляя выражение (140.30) в формулу (140.29) и выполняя интегрирование, получим:

Для определения оператора оптимальной системы теперь осталось только выразить случайную величину через наблюдаемую функцию Подставляя выражение (140.27) в первую формулу (140.31), получим:

Таким образом, оптимальная система может быть в данном случае реализована в виде последовательного соединения линейной системы с весовой функцией и безынерционного функционального устройства, осуществляющего преобразование случайной величины определяемое формулой (140.32).

Предоставляем читателю самостоятельно вывести формулу для средней квадратической ошибки найденной оптимальной системы при данной реализации входной функции