5.18. Конечные разности

Наиболее очевидным и, по нашему опыту, наиболее успешно применимым методом, позволяющим избежать аналитического дифференцирования целевой функции, является градиентный метод, в котором производные аппроксимируются конечными разностями.

Простейшая конечно-разностная аппроксимация градиента получается с помощью метода односторонних (конечных) разностей:

Неточность величины обусловлена двумя источниками ошибок: (1) ошибка округления, связанная с разностью двух близких значений и (2) ошибка усечения, связанная с неточным характером выражения которое соблюдается точно лишь в пределе при

Ошибка округления растет при уменьшении . Впредь мы будем писать для сокращения вместо Пусть относительная ошибка вычисления (в лучшем случае где число двоичных цифр, с которым ведутся вычисления на компьютере). Абсолютная ошибка имеет величину а ошибка разности может быть порядка хотя среднеквадратическая ошибка равна только Максимальная ошибка округления в поэтому равна:

С другой стороны, мы имеем разложение в ряд Тейлора:

Поэтому ошибка усечения в приближенно равна:

Максимальная суммарная ошибка приближенно составляет:

Она имеет минимум при

Если нас интересует среднеквадратическая ошибка, мы будем минимизировать

так что

Выражения или можно использовать как основу для оценки размера шагов требуемых для вычисления разностей. Те же уравнения можно было бы получить, если считать, что оба источника ошибок вносят одинаковые вклады. Максимальная общая ошибка по оказывается равной в то время как среднеквадратическая ошибка по есть

Чтобы применять эти формулы, мы должны знать оценки элементов матрицы Гессе Эти оценки мы имеем, пользуясь методами Гаусса и переменной метрики. В последнем случае обычно матрица т. е. она является скорее приближением чем аппроксимацией Однако, если начать итерационную процедуру с диагональной матрицы то легко образовать Тогда легко проверяемая формула

позволит нам в методе КРЕ вычислять последовательно матрицы которые являются аппроксимациями Подобная процедура для метода Дэвидона — Флетчера-Пауэлла приводится Стюартом [182].

В методе Гаусса нам необходимо знание производных от уравнений модели скорее, чем от самой функции цели. Если нельзя предложить ничего лучшего, рекомендуем пользоваться или для выбора . Вместо уравнения однако, будем применять подобные соотношения к уравнениям модели для каждого эксперимента в отдельности.

Эти формулы не следует употреблять слепо. Большие ошибки в оценке могут привести к абсурдным значениями Следует ограничить сверху и снизу, например Если вычисления проводятся с двойной точностью, то можно принять меньшую нижнюю границу.

Уравнение дает самую грубую оценку из всех возможных. Лучшая оценка получается по центральной разностной схеме:

К сожалению, эта схема требует вычисления двух дополнительных значений функции для каждой компоненты вектор-градиента вместо одного» как это требовалось в случае односторонних конечных разностей. Ошибка усечения для есть где Шаг при наименьшей максимальной ошибке имеет длину а сама ошибка имеет величину Эти формулы не очень полезны, ибо мы редко знаем Однако можно с уверенностью сказать, что здесь можно использовать несколько большие значения 60а, чем при односторонней разностной схеме.

Для экономии вычислений мы рекомендуем применять односторонние разности на нескольких итерациях до тех пор, пока не нарушится сходимость итерационного процесса. Если же возникает опасение, что решение получить не удалось, можно перейти на расчет центральных разностей.