Б. МАТЕМАТИЧЕСКИЕ АСПЕКТЫ
3.4. Оптимизация
Большинство методов оценивания параметров состоит из двух стадий.
(а) Введем функцию 
которая является подходящей мерой отличия расчетов по модели от данных, т. е. степенью неадекватности модели. Назовем эту функцию целевой функцией. Например, в методе наименьших квадратов целевой функцией является сумма квадратов остатков.
(б) Найдем такие значения 
параметров 
при которых целевая функция достигает минимума или максимума, как условлено. Примем, что 
есть оценка 
Процесс вычисления 
называется оптимизацией. Глава IV посвящена проблеме пункта (а), т. е. определению целевых функций. Оставшаяся часть этой главы посвящена свойствам аналитического решения проблемы оптимизации. Описание процесса оптимизации можно найти в главах V и VI. Если о значениях неизвестных параметров нет никакой информации, мы говорим об оптимизации без ограничений. Иногда же допустимы лишь значения параметров, удовлетворяющие определенным ограничениям. Мы можем иметь вектор ограничений типа равенств
и (или) типа неравенств
где 
означает, что каждый компонент удовлетворяет условию 
Совокупность всех значений 
удовлетворяющих ограничениям, называется допустимой областью. Точки допустимой области, строго удовлетворяющие неравенству 
образуют внутреннюю часть допустимой области. Если точка удовлетворяет равенству 
для некоторого у, то говорят, что она лежит на 
ограничении и также на границе допустимой области.
Найдем условия минимума в различных случаях. Говорят, что 
есть точка локального минимума функции 
если в некоторой окрестности (например, сферической) вокруг 
нет ни одной точки допустимой области 
для которой 
Точка будет называться точкой глобального минимума, если нет ни одной допустимой точки 
такой, что 
Ясно, что любой глобальный минимум является также и локальным. Нам, конечно, хотелось бы найти глобальный минимум, однако в нашем распоряжении есть лишь условия, которым удовлетворяет локальный минимум, и в общем случае нелегко сказать, является ли найденный минимум глобальным.
Проблему оптимизации, с ограничениями или без них, часто называют проблемой математического программирования. Если и функция цели, и ограничения являются линейными функциями неизвестных параметров, мы говорим о линейном программировании. Если же ограничения имеются, но они нелинейны либс нелинейна функция цели, то мы говорим о нелинейном программировании. В последующем изложении мы будем полагать, что целевая функция, как и все функции ограничений, является дважды дифференцируемой по параметрам.
