5.16. Замечания, касающиеся сходимости
Предположим, что итерационный процесс сошелся к точке 0, которая оказалась нестационарной для 
Пусть мы пользовались градиентным методом, который можно применить по крайней мере номинально. Предполагается, что производная 
от 
в направлении вектора 
отрицательна, однако даже очень малый шаг в этом направлении не дает уменьшения 
Причина, возможно, кроется в одном из двух обстоятельств.
(а) Градиент вычисляется недостаточно точно. Если используется ошибочный вектор 
вместо 
при определении направления, то истинная производная по направлению будет 
которая не обязательно отрицательна, даже когда 
положительно определена. Поэтому необходимо увеличить точность вычисления производных. По этой причине производные следует вычислять аналитически. Если это невсйможно, то остается прибегнуть к конечно-разностным аппроксимациям производных. О конечных разностях см. в 5.18.
Если модель слишком сложна для аналитического дифференцирования вручную, это можно сделать с помощью ЭВМ. Существуют программы для аналитического расчета производных. Например, Эйзенпрессом и др. 164] используется система FORMAC [29] для
аналитического расчета первой и второй производных нелинейной модели в алгоритме Ньютона — Гринштадта (см. (651) оценивания параметров экономических моделей. Обзор других вычислительных алгоритмов аналитическою дифференцирования приведен в [172].
(б) Положительная определенность матрицы 
может нарушиться из-за накопления ошибок округления. Этого не может случиться в методах Гаусса или КРЕ, если мы используем выбор направления шага или прием Марквардта для того, чтобы обеспечить положительную определенность матрицы. Однако это может иметь место в плохо обусловленных случаях как результат действия ошибок округления, если применяются методы условного обращения матрицы или решения системы уравнений. Следует избегать этих методов.
В нашем распоряжении нет методов, гарантирующих сходимость к глобальному минимуму. Если есть сомнение в том, что рассчитанный минимум глобален, можно повторить вычисления многократно, начиная расчеты с различных начальных приближений до получения глобального минимума. Такая процедура редко применяется в случае хорошо поставленных задач оценивания параметров, для которых, например, имеет место следующее: (1) ошибки в результатах эксперимента не слишком велики, (2) модель хорошо описывает данные (при соответствующих значениях параметров), (3) истинные значения параметров не выходят за границы допустимой области и (4) данные были получены с помощью специально спланированных экспериментов (см. раздел 7.18 и главу X). Если эти условия не выполняются, могут произойти различные неприятности: целевая функция может иметь много минимумов или асимптотически убывать при выходе некоторых параметров за ограничения. Это иногда может иметь место даже в хорошо поставленных задачах.
Читатель должен понять, что решение задач нелинейной оптимизации является своеобразным искусством, ибо нельзя написать такую универсальную программу, которая давала бы правильный ответ при решении всех задач оценивания параметров в результате одного обращения к ЭВМ. Как правило, первая попытка решения дает неприемлемые результаты. Изучая их, исследователь получает возможность предложить лучшие начальные приближения; можно либо наложить ограничения, либо ввести априорные распределения переменных, либо ослабить ранее введенные ограничения; можно даже обнаружить ошибки в операторах, задающих уравнения модели или их производные. Если учесть все эти моменты, то последующие обращения к программе могут привести к получению приемлемых результатов. Особенно практически полезной для этой цели может оказаться интерактивная система программ для ЭВМ.
