Приложение 2Г. НЕОПРЕДЕЛЕННЫЕ МНОЖИТЕЛИ ЛАГРАНЖА

Обозначения. Поскольку метод неопределенных множителей Лагранжа исключительно широко применяется, мы приняли вполне «нейтральные» обозначения переменных входящих в функции ниже. Когда этот метод применялся в параграфе 2.13, под величинами 0 понимались все параметры в векторе При рассмотрении гребневой регрессии в параграфе 6.7 под величинами 0 подразумеваются все регрессионные коэффициенты кроме . В других приложениях величины 0 могут играть роль предикторных переменных, т. е. величин

Основной метод

Предположим, что мы хотим найти стационарную или экстремальную точку функции от переменных на которые наложены ограничения типа

Сформируем функцию

где неизвестны. Найдем частные производные от по отношению к каждой величине 0; и приравняем полученные выражения к нулю. В результате получим уравнений

Эти уравнений совместно с дополнительными уравнениями

образуют совместную систему из уравнений, которые могут

быть решены относительно неизвестных Нередко величины сразу исключаются и фактически не определяются. По этой причине их называют неопределенными множителями. В некоторых случаях, однако, решение для переменных получить легче, если сначала определить В других случаях может оказаться проще определить величины из уравнений и рассматривать затем другие величины в как неизвестные.

Является ли решение точкой максимума или минимума?

Предположим теперь, что решение уравнений после того какиз них были исключены величины Пусть

— матрица частных производных второго порядка. И пусть далее матрица, получаемая из после подстановки в нее решения . В таком случае если есть:

1) положительно определенная, т. е. для всех и,

2) отрицательно определенная, т. е. для всех и, где произвольный -вектор с действительными элементами, то функция достигает:

1) локально наименьшего значения при

2) локально наибольшего значения при соответственно. Если мы разложим функцию F в ряд Тейлора в окрестности а, используя частные производные и учитывая, что частные производные первого порядка от функции F в точке равны нулю, то мы увидим, что справедливо соотношение

где представляет собой вектор малых приращений одинакового порядка, а остаточный член, содержащий слагаемые,

зависящие от приращений в третьей и более высоких степенях. Поэтому если, например, положительно определенная матрица, то

Если, однако, варьируется только таким образом, что все ограничения соблюдаются, это означает, что

т. е. локально минимальное значение при соблюдении указанных ограничений. Может случиться так, что

для всех малых но

для всех которые удовлетворяют ограничениям. Поэтому условие положительной определенности матрицы достаточно, но не необходимо для того, чтобы в условиях указанных ограничений при имел место локальный минимум. Аналогичные замечания можно сделать и в случае отрицательной определенности матрицы М. Если не является ни положительно, ни отрицательно определенной, то для определения типа стационарной точки необходимы дополнительные исследования функции в окрестности точки а.

Упражнения

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

Ответы к упражнениям

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)