5.20. Начальные приближения

Все методы оптимизации, описанные нами, требуют наличия начального приближения для величин параметров. Выбор хорошего начального приближения может способствовать успешному нахождению положения оптимума или более быстрой сходимости к решению, чем при неудачном начальном приближении. К сожалению, в то время как мы можем создавать формализованные алгоритмы оценивания при известном начальном приближении, для выбора последнего мы должны в значительной степени полагаться на свою интуицию и априорное знание. Тем не менее мы можем выдвигать некоторые предположения, которые могут оказаться полезными во многих случаях. Обширную дискуссию по таким методам можно найти в работе Китрелла и др. [124].

Мы должны сразу предостеречь читателя от преувеличения важности нахождения хорошего начального приближения. Во многих случаях хорошее решение получалось даже тогда, когда в качестве начальных приближений были взяты совершенно произвольные значения. В этих случаях ценой нескольких минут дополнительного времени расчетов на ЭВМ можно избавиться от значительных затрат на поиски начального приближения. Поэтому мы предлагаем (если машинное время дефицитно или очень дорого) пытаться оценивать параметры методом «грубой силы». Только в случае неудачи этой стратегии следует прибегать к более тонким процедурам.

Наиболее очевидный метод для получения начальных приближений состоит в использовании априорной информации. Оценки, рассчитанные по результатам предыдущих экспериментов; величины, полученные при исследовании аналогичных систем или из теоретических соображений, — все они могут употребляться в качестве начальных приближений.

С другой стороны, существуют задачи, в которых вся априорная информация о значениях параметров заключается в знании верхней и нижней границ их возможных значений. Если мы не имеем даже таких границ, мы можем преобразовать наши переменные в ограниченные; например, положительную переменную 0 можно заменить ограниченной переменной или свободную от ограничений переменную 0 можно заменить на

Поскольку все наши параметры ограничены прямоугольной областью в пространстве 0, мы можем провести поиск методом сетки: вычислить значения целевой функции в каждой точке регулярной прямоугольной сетки и выбрать точку с наилучшим значением в качестве начального приближения. Основная трудность этого подхода состоит в так называемом «проклятье размерности»: для сетки с уровнями по каждой из I переменных общее число точек, в которых должна быть вычислена функция цели, равно Это недопустимо большое число при всех значениях и I, кроме самых малых.

Вместо поиска методом сетки можно пользоваться случайным поиском. Здесь уже число точек внутри допустимой области выбирается случайным образом, а точка, дающая наилучшее значение целевой Функции, используется в качестве начального приближения.

Действительно, с большой вероятностью среди ста точек найдется одна, представляющая собой решение в пределах 1%-ной погрешности! Однако этот 1% относится ко всему объему допустимой области. Если в задаче параметров, то относительная точность каждого параметра есть только или 31,6% допустимого диапазона при 1—4. Метод случайного поиска не позволяет преодолеть «проклятье размерности», но имеет все же некоторые преимущества перед методом сетки. Он позволяет преобразовать область поиска так, чтобы учесть предпочтительность некоторых областей в пространстве параметров (эту процедуру можно рассматривать как взятие выборки из априорного распределения), а также использовать последовательный критерий останова: прекратить расчеты, как только найдено значение функции, значительно лучшее, чем среднее из всех ранее найденных. Иногда до начала поиска требуется преобразовать переменные. Например, если неизвестен даже порядок величины параметра, его следует заменить его логарифмом.

Начальные значения не всегда необходимы для всех параметров модели. Если некоторые параметры входят в уравнения модели линейно и имеются начальные приближения для остальных параметров, то линейные параметры можно оценить методом множественной линейной регрессии. Положим, например, что модель имеет вид Если имеем начальное значение и положим гц то начальное значение для можно найти, решая линейную задачу минимизации суммы квадратов: Разработаны специальные варианты метода Гаусса для частично линейных моделей (см. [132] и [91]).

Наиболее плодотворный подход к нахождению начального приближения заключается в сведении первоначальной задачи к более простой. Ответы, полученные при решении более простой задачи, можно использовать как начальные приближения для исходной задачи. Не существует каких-либо рецептов применения этой идеи ко всем задачам, поэтому дадим лишь некоторые примеры того, как это можно сделать.

(а) Линеаризация. Посредством преобразования переменных попытаемся изменить уравнения модели так, чтобы сделать их линейными по параметрам (см. раздел 4.19). Линейная же задача может быть решена методом множественной линейной регрессии, для которого отпадает необходимость в начальном приближении.

(б) Многоступенчатое оценивание. Разбивая данные на группы, можно оценить некоторые вспомогательные параметры для каждой группы; далее оцениваются исходные параметры как функции вспомогательных. Например, скорость химической реакции выражается уравнением

где у — скорость, концентрация, температура, и оцениваемые параметры. Скорость у измеряется как функция х при нескольких значениях скажем Предположим, что мы воспользуемся данными, снятыми при для оценивания коэффициента в уравнении

Оцененные можно использовать затем как результаты эксперимента для оценки и в линеаризованной модели

Конечно, в данном случае мы могли бы линеаризовать непосредственно, однако в моделях кинетики, включающих систему одновременно протекающих реакций, исходные уравнения невозможно линеаризовать, тогда как многоступенчатая процедура дает результат.

(в) Упрощение модели. Часто имеется возможность приблизить исследуемую модель набором более простых, в которых некоторые эффекты опущены и удалены соответствующие параметры. После того как параметры упрощенной модели будут оценены, анализ остатков (см. раздел 7.13) может показать, какие члены следует добавить в модель на следующем этапе. Этот метод служит не только для получения начальных приближений для заданной модели, но также (и это, вероятно, более важно) для синтеза модели, когда ничего о ней не известно. Примеры такого синтеза модели приведены Боксом и Йоулом [38], Петерсоном [156], Боксом и Хантером [33], Хантером и Мезаки [112] и Китреллом, Хантером и Мезаки [122].

(г) Упрощенный метод оценивания. Заменим заданную целевую функцию некоторой другой, более просто минимизируемой. Приведем несколько примеров: (1) линеаризуем модель, как это делалось выше в пункте (а); (2) в многооткликовой модели мы применим одно из уравнений для получения предварительных оценок параметров. На самом деле, однако, иногда легче получить оценки, используя все уравнения модели, так как иначе теряется информация, относящаяся к значениям некоторых параметров. Как простой пример рассмотрим модель, состоящую из трех уравнений:

Очевидно, что все три параметра можно оценить независимо, только если использовать все три уравнения; (3) в моделях динамики мы можем употреблять результаты интегрирования или дифференцирования, чтобы получить начальные приближения для метода интегрирования уравнений (см. раздел 8.1).