3.9. Оценивание при наличии линейных ограничений

3.9.1. Метод множителей Лагранжа

Пусть где X — матрица размера ранга Предположим, что мы хотим найти минимум при совместных линейных ограничениях где А — известная -матрица ранга , а с — известный -вектор. Один из методов решения этой задачи состоит в использовании множителей Лагрцнжа, по одному на каждое линейное ограничение где есть строка матрицы А. Таким образом, нас интересует выражение

(транспонирование матрицы размера не изменяет этой матрицы). Для того чтобы применить здесь метод множителей Лагранжа, рассмотрим выражение решим уравнения

и т. е.

Для последующих ссылок решения этих уравнений обозначим через соответственно. Тогда из (3.57) получаем

а из (3.56) -

Поскольку матрица положительно определена (как обратная к положительно определенной матрице), то матрица также положительно определена следовательно, не вырождена. Поэтому

и, подставляя это в (3.58), получаем

Чтобы доказать, что действительно минимизирует при ограничениях заметим прежде всего, что

поскольку, согласно (3.58),

Из (3.15) и (3.61) заключаем поэтому, что

является минимумом, когда т. е. когда (так как столбцы матрицы X линейно независимы).

Полагая получаем полезное тождество

или, обозначая

Это тождество можно получить и непосредственно (см. упр. 1 из упражнений