§ 121. Общие условия экстремума данной функции математического ожидания и дисперсии ошибки

Для того чтобы вывести общие необходимые и достаточные условия экстремума данной функции математического ожидания и дисперсии ошибки, нам удобно будет принять за второй аргумент функции вместо дисперсии ошибки ее начальный момент второго порядка. Это всегда можно сделать при помощи формулы (10.9). При этом без потери общности можно считать, что требуется обеспечить минимум функции так как случай максимума всегда может быть приведен к случаю минимума изменением знака функции

В результате мы представим критерий (119.3) в виде:

где

Рис. 75.

Как и в предыдущем параграфе, мы будем предполагать, что класс операторов в котором ищется оптимальный оператор, представляет собой линейное пространство. При этом естественно ограничиться действительными случайными функциями и действительными операторами, так как критерий (119.3) в случае комплексной ошибки является частным случаем критерия (119.6) для векторной ошибки.

Классу операторов соответствует некоторое множество значений величин которое может быть представлено геометрически в виде некоторой области плоскости переменных (рис. 75). Для определения границ этой области следует найти экстремальные значения одной из переменных при всех возможных фиксированных значениях другой в классе операторов Так, например, экстремальные значения величины при фиксированном значении

величины определяют границы отрезка, параллельного оси принадлежащего области D (рис. 75). Геометрическое место концов таких отрезков, соответствующих всем возможным значениям величины очевидно, и является границей области

Таким образом, задача определения границ области значений величин соответствующей классу операторов сводится к нахождению условного экстремума одной из величин в классе операторов при фиксированном значении другой.

Очевидно, что при любом фиксированном значении величины величина не может иметь максимума, так как, считая, что все случайные величины множества рассматриваемого в § 24, имеют одно и то же математическое ожидание, и взяв в формулах (24.13) и (24.15) достаточно большое а, мы можем сделать момент второго порядка ошибки как угодно большим. Следовательно, область не имеет верхней границы, а ее нижняя граница определяется условным минимумом величины при всех возможных фиксированных значениях величины

Применяя метод неопределенных множителей Лагранжа, мы сведем эту задачу к нахождению минимума величины

где — неопределенный множитель, который может быть определен после нахождения минимума из условия Однако в этом нет необходимости, так как вместо того, чтобы задавать значение с и потом находить соответствующие этому с значение параметра и точку границы области всегда можно задать непосредственно значение параметра и определить соответствующую этому значению точку границы области

Функция может иметь минимум внутри области Если она имеет минимум в точке лежащей внутри области то в этой точке будут выполнены условия:

причем условие (121.6) будет выполняться при всех действительных значениях х, у. Оптимальным оператором в этом случае будет такой оператор, для которого

Теоретически возможный случай, когда функция имеет минимум внутри области обычно никогда не встречается на практике, вследствие чего этот случай не имеет практического значения. Если

функция не имеет минимумов внутри области кроме того, непрерывна и ограничена снизу, то она достигает требуемого минимального значения в классе операторов на границе области Иными словами, если функция непрерывна, ограничена снизу и не имеет минимумов внутри области то оптимальный оператор удовлетворяет условию (121.4). Это дает следующий общий способ определения оптимального оператора. Прежде всего следует выделить из класса операторов все операторы, удовлетворяющие условию (121.4), т. е. соответствующие границе области Эти операторы образуют семейство, зависящее от одного параметра Величины соответствующие всем этим операторам, также зависят от одного параметра 6. Следовательно, и функция для семейства операторов, определяемых условием (121.4), является функцией одного параметра Геометрически эти факты означают, что координаты точек границы области являются функциями 0, вследствие чего и функция на границе области является функцией одного параметра Определив значение 0, при котором функция имеет наименьшее значение для семейства операторов, определяемых условием (121.4), т. е. на границе области мы полностью определим искомый оптимальный оператор.

Рис. 76.

Таким образом, для того чтобы оператор А был оптимальным, необходимо и достаточно, чтобы этот оператор удовлетворял условию (121.4) при некотором значении 0, чтобы соответствующая этому оператору точка принадлежала границе области и чтобы в этой точке функция достигала наименьшего значения на границе области

Легко сообразить, что точки границы области в которых функция достигает экстремальных значений, являются точками касания границы области и соответствующих линий уровня (рис. 76). При этом граница области имеет внешнее касание с соответствующими линиями уровня в точках минимума функции в которых ее градиент направлен внутрь области и в точках максимума функции в которых ее градиент направлен наружу. Граница области имеет внутреннее касание с соответствующими линиями уровня в точках минимума функции в которых ее градиент направлен наружу, и в точках максимума функции в которых ее градиент направлен внутрь области Каждая точка границы области определяется условием (121.4), т. е. условием минимума функции при

соответствующем значении 0. При этом функция возрастает при увеличении ее градиент всегда направлен внутрь области Следовательно, при любом значении параметра одна из прямых касается извне границы области в точке, соответствующей данному значению 0. Отсюда следует, что граница области всегда обращена выпуклостью вниз и угловой коэффициент касательной к ней в любой точке равен взятому с обратным знаком соот ветствующему значению параметра

Рис. 77.

Условие (121.4) может быть получено другим способом. Пусть искомый оптимальный оператор, произвольный оператор класса Так как класс операторов по условию представляет собой линейное пространство, то оператор при любом действительном а также принадлежит классу Если мы фиксируем оператор В и будем давать все возможные значения параметру а, то величины а следовательно, и функция будут функциями одной переменной а. Так как А по условию является оптимальным оператором, то функция рассматриваемая как функция а при данном операторе В, должна иметь минимум при при любом выборе оператора В. А для этого необходимо, чтобы полная производная функции по а была равна нулю при при любом выборе оператора В:

где нуликом отмечены значения соответствующих функций приа Условие (121.8) будет выполнено, если значения величин соответствующие оптимальному оператору, удовлетворяют системе уравнений (121.5). Этому случаю соответствует возможный минимум функции внутри области Если функция не имеет минимумов внутри области то значения производных функции входящие в уравнение (121.8), не могут одновременно быть равными нулю. Полагая в этом случае

приведем уравнение (121.8) к виду:

Это уравнение представляет собой необходимое условие экстремума величины Таким образом, оптимальный оператор должен удовлетворять условию (121.4), если функция не имеет минимумов внутри области

Этот способ вывода условия (121.4) попутно дает другой способ определения значения параметра соответствующего оптимальному оператору. Определяемый условием (121.4) оптимальный оператор зависит от неизвестного параметра Соответствующие этому оператору значения величин также будут зависеть от 0. Следовательно, равенство (121.9) представляет собой уравнение вида:

которому должно удовлетворять соответствующее оптимальному оператору значение параметра После нахождения путем решения уравнения (121.9) оптимальный оператор будет полностью определен. Уравнение (121.9) в общем случае может быть приближенно решено графическим методом. В отдельных частных случаях уравнение (121.9) решается аналитически.

На основании изложенного выше угловой коэффициент касательной к границе области равен . Следовательно, уравнение (121.9) представляет собой не что иное, как условие касания границы области исоответствующей линии уровня

Полагая можно при любом фиксированном значении привести условие (121.4) к виду:

Это условие является частным случаем условия (119.10), когда функция потерь определяется формулой

Таким образом, определение оптимального оператора по критерию экстремума данной функции математического ожидания и дисперсии ошибки сводится к определению оптимального оператора по критерию вида (119.10), соответствующему функции потерь (121.13), зависящей от неопределенного параметра

Очевидно, что условие (121.12) представляет собой условие минимума средней квадратической ошибки приближения случайной функции W к случайной функции Следовательно, необходимое и достаточное условие минимума величины (121.12) получится из условия (120.2) для действительных функций и операторов заменой случайной функции случайной функцией

Это условие должно выполняться для всех операторов В класса Таким образом, любому значению соответствует минимум

величины который определяет точку границы области Следовательно, все точки границы области являются точками минимума функций соответствующих различным значениям 6. Это положение при выводе общих свойств границы области мы приняли без доказательства. Теперь, после его доказательства, мы можем считать все наши заключения о границе области полностью обоснованными.

Изложенное показывает, что для того чтобы оператор А был оптимальным, необходимо и достаточно, чтобы он удовлетворял условию (121.14) при некотором значении параметра и чтобы при этом значении функция имела не большее значение, чем для всех других операторов, определяемых условием (121.14) при других значениях

Рис. 78.

Очевидно, что самая низкая точка границы области соответствует минимуму средней квадратической ошибки В этой точке граница области касается прямой которая представляет собой в данном случае линию уровня поверхности (рис. 78).

Совершенно аналогично критерий экстремума данной функции математического ожидания и корреляционной матрицы вектора ошибки в многомерном случае приводится к виду:

где через обозначены математические ожидания и моменты второго порядка составляющих вектора ошибки,

Классу операторов в котором ищется оптимальный оператор, соответствует некоторая область -мерного пространства граница которой определяется условием

если за величину принять момент второго порядка одной из составляющих вектора ошибки. Применяя метод неопределенных множителей, мы сведем задачу определения границы области к нахождению минимума величины

где неопределенные множители.

Функция может иметь минимум внутри области Пусть внутренняя точка области в которой функция принимает минимальное значение. В этой точке должны удовлетворяться условия:

причем условие (121.19) должно выполняться при всех действительных значениях Оптимальным оператором в этом случае будет такой оператор, для которого

Если функция не имеет минимумов внутри области непрерывна и ограничена снизу, что обычно и бывает в задачах практики, то она достигает требуемого минимального значения на границе области В этом случае условие (121.17) выделяет из класса операторов семейство операторов, соответствующих границе области зависящее от параметров Определив систему значений при которых функция принимает минимальное значение на границе области мы полностью определим оптимальный оператор. Таким образом, в случае, когда функция не имеет минимумов внутри области задача определения оптимального оператора сводится к нахождению семейства операторов, удовлетворяющих условию (121.17), и к последующему определению значений параметров из условия минимума функции для операторов этого семейства.

Как и условие (121.4), условие (121.17) можно получить другим способом, представляющим собой соответствующее видоизменение второго способа вывода условия (121.4). При этом оказывается, что значения параметров соответствующие оптимальному оператору, удовлетворяют системе уравнений

Условие (121.17) может быть переписано в виде:

где для краткости записи первые параметров обозначены через

а остальные — через причем для симметрии положено:

Критерий (121.22) является частным случаем критерия (119.10), когда ошибка векторная, а функция потерь определяется формулой

Таким образом, задача определения оптимального оператора по критерию экстремума данной функции математического ожидания и корреляционной матрицы вектора ошибки сводится к нахождению оптимального оператора по критерию вида (119.10), соответствующему функции потерь (121.24), зависящей от неопределенных параметров V Ърдя

Изложенное исследование критерия экстремума данной функции математического ожидания и дисперсии (корреляционной матрицы в многомерном случае) ошибки и вывод уравнений, определяющих оптимальные операторы по этому критерию, мы провели, следуя в основном идеям Н. И. Андреева [3, 4].