Глава V. ВЫЧИСЛЕНИЕ ОЦЕНОК I: ЗАДАЧИ БЕЗ ОГРАНИЧЕНИЙ
5.1. Введение
Большинство методов оценивания приводит к поиску значений 
параметров 
для которых некоторая целевая функция 
достигает своего максимума или минимума. Типичными целевыми функциями, подлежащими минимизации, являются сумма квадратов остатков, взвешенная сумма квадратов остатков и. функция риска. К максимизируемым целевым функциям относятся функция правдоподобия, сисредоточенная функция правдоподобия и апостериорная плотность, вероятности. Все они уже рассматривались в главе IV.
На практике неизвестные параметры распределения 
обычно исключаются из целевой функции, например, с помощью методов, описанных в разделах 4.8 и 4.9. Следовательно, мы будем записывать целевую функцию как 
а не как 
и будем интерпретировать 0 как вектор с I компонентами. Некоторые из тех методов, которые мы предполагаем здесь рассмотреть, легко распространяются на случаи, где параметры распределения все-таки присутствуют в целевой функции.
Иногда о значениях неизвестных параметров не может быть высказано никаких предположений; в таких случаях можно говорить об оптимизации без ограничений. В других случаях отыскиваются лишь те значения, которые удовлетворяют либо некоторым неравенствам, либо уравнениям, либо тому и другому. Задача тогда заключается в нахождении таких 0, для которых 
достигает максимума (или минимума) при условиях:
где 
это заданные векторы-функции.
Мы не утратим общности, если ограничимся рассмотрением только минимизации, поскольку поиск максимума функции всегда можно заменить поиском минимума той же функции, но с отрицательным знаком. Минимизация функции при условиях 
составляет задачу нелинейного программирования. Несмотря на то что эта задача изучалась во многих работах (см. [52], [189], [1], [131] и [96]), до сих пор
не найден метод, который оказался бы наилучшим при решении всех задач нелинейного программирования. Впрочем, вряд ли можно даже надеяться, что «наилучший» метод будет когда-либо найден, так как задачи весьма сильно отличаются друг от друга как по размерности, так и по своей природе. Для задач оценивания параметров мы должнь найти такие методы, которые в наибольшей степени соответствуют, их специфической природе, проявляющейся в следующем.
1. Относительно невелико число неизвестных, которое лишь в редких случаях превосходит двенадцать.
2. Целевая функция оказывается сильно нелинейной (хотя является непрерывной и дифференцируемой). Из за этого вычисление ее значений может потребовать значительного времени.
3. Относительно невелико число ограничений типа неравенств (иногда их вообще нет). Если же они все-таки имеются, то обычно оказываются весьма простыми, например в виде ограничений сверху и снизу.
4. Ограничения типа равенств отсутствуют, за исключением задач с точными структурными моделями (в которых, между прочим, число неизвестных велико). Эти задачи будут рассмотрены отдельно в разделах 6.6-6.8.
Поскольку ограничения в большинстве, задач оценивания играют второстепенную роль, мы сначала изучим несколько методов оптимизаций без ограничений. В [127] можно найти некоторые другие методы. В разделе 6.1 мы покажем, как задачи с ограничениями могут быть преобразованы в задачи без ограничений, для которых становятся применимыми методы, описанные в данной главе.
