10.5. Локальные решения и начальные значения

Локальные минимумы. Обшие численные схемы минимизации и решения уравнений, которые обсуждались в разделе 10.2, обычно обладают тем свойством, что при подходящем выборе длины шага они будут сходиться к решению поставленной задачи. Это означает, что (10.49) и (10.50) будут сходиться к точке в которой

в то время как (10.41) с положительно определенной матрицей R сходится к локальному минимуму

В задаче минимизации нас интересует глобальный минимум. Теоретические результаты гл. 8 и 9 относились к свойствам оценки доставляющей глобальный минимум. Аналогично, уравнение (10.73) может иметь несколько решений. Очевидно, для итеративных поисковых процедур раздела 10.2 характерна лишь сходимость к локальному решению задачи, а достижение глобального решения не может, вообще говоря, гарантироваться. Обычно для нахождения глобального решения не существует другого способа, как запускать итеративную программу минимизации с различных возможных начальных значений и сравнивать получаемые при этом результаты. Ниже обсуждается важная возможность использования некоторой процедуры предварительного оценивания для получения хорошего начального значения при минимизации.

При подборе модели и ее проверке, как будет обсуждено в разделе 16.5, о модели судят все-таки по ее характеристикам. Значит, локальные минимумы не обязательно создают проблемы на практике. Если модель проходит проверочные тесты, она должна быть приемлемой моделью, даже если она не дает глобального минимума критериальной функции.

Проблема ложных локальных решений имеет два аспекта. Может оказаться, что предельная при критериальная функция имеет локальные минимумы. Тогда в соответствии с леммой 8.2 функция также будет иметь аналогичные минимумы для больших Существование локальных минимумов можно проанализировать, но до сих пор известно лишь несколько результатов. Некоторые из них будут приведены ниже. Другой аспект состоит в том, что даже если имеет один локальный минимум (совпадающий с глобальным), функция может иметь другие локальные минимумы из-за случайного характера данных. Эта проблема значительно труднее для теоретического исследования. Исключение составляет МНК для линейной регрессии, когда но своей конструкции критериальная функция не имеет неглобальных локальных минимумов независимо от свойств данных.

Результаты для моделей черного ящика с одним входом и одним выходом. Единственные имеющиеся аналитические результаты по локальным решениям относятся к моделям черного ящика в предположении, что истинная система принадлежит множеству моделей: Перечислим эти результаты, снабжая их ссылками на доказательства. Все они касаются общей модели с одним входом и одним выходом (10.62) и относятся к

Для простоты неглобальный локальный минимум называем ложным минимумом.

- Для ARMA-моделей все стационарные точки являются глобальными минимумами [30].

-Для ARARX-моделей не существует ложных локальных минимумов, если отношение сигнал/шум достаточно велико. Если оно очень мало, ложные локальные минимумы обязательно существуют [365].

- Если ложных локальных минимумов не существует [368].

- Если ложных локальных минимумов не существует, если входной сигнал - белый шум. Дня других входных воздействий, однако, ложные локальные минимумы могут существовать [368].

Для ARMAX-модели не известно, существуют ли ложные локальные минимумы. Однако для подхода, основанного на нсевдолинейной регрессии (7.99),

можно показать, что

в случае ARMAX-модели, где обозначает вектор истинных параметров [265].

Практический опыт использования моделей различных структур показывает, что для ARMAX-моделей глобальный минимум обычно находится без особых проблем. (См., например, обсуждение по этому поводу в работе Бохлина [55].) С другой стороны, для структур модели с ошибкой на выходе сходимость к ложным локальным минимумам - обычная ситуация.

Начальные значения. Вследствие возможного наличия нежелательных локальных минимумов критериальной функции имеет смысл затратить некоторые усилия на выработку хороших начальных условий для итеративных процедур поиска. При этом, поскольку методы ньютоновского тина, описанные в разделе 10.2, обладают хорошей скоростью локальной сходимости, но не обязательно скорость сходимости велика вдали от минимума, эти усилия обычно окупаются уменьшением числа итераций и сокращением суммарного времени вычислений.

Для структур моделей, параметризованных на основе физических законов, наиболее естественно использовать физические представления и для определения различных начальных условий. Это позволяет также взаимодействовать с итеративной схемой поиска и контролировать ее работу.

Для структур моделей черного ящика существует несколько возможностей. Исходя из практического опыта, можно предложить следующие процедуры определения хороших начальных значений для модели общей структуры (10.62):

1) применение метода инструментальных переменных для оценивания передаточной функции определяющей динамику; чаще всего один из полиномов А или является единичным: для системы, работающей в режиме разомкнутой цепи обратной связи, сначала определяют оценку МНК для ARX-модели, чтобы затем использовать ее при генерации инструментальных переменных, как в (7.109);

2) определение оценки шума уравнения аналогично

3) определение С и/или в (10.71) посредством (10.72) после первоначального этапа нахождения с помощью AR-модели высокого порядка (который не требуется при порядок AR-модели может быть выбран как сумма порядков всех моделей в (10.62) с тем, чтобы сбалансировать вычислительные усилия.

Глобальная сходимость. Если система принадлежит множеству моделей, метод инструментальных переменных, как известно, будет сходиться при слабых предположениях к истинным значениям параметров (см. Аналогично оценки в (10.72) могут быть сколь угодно точными при достаточно большом порядке модели на этапе AR-оценивания. Начальный этап будет, следовательно, давать сколь угодно точное приближение глобального минимума при условии, что мы имеем достаточное количество данных. Отсюда ириходим к выводу, что методы раздела 10.2 будут эффективно отыскивать глобальный минимум. Таким образом, для случая § имеем процедуру, глобально сходящуюся к глобальному минимуму для достаточно больших

В том случае, если система не принадлежит множеству моделей, представленные в разделе 10.4 процедуры могут привести к аппроксимации, отличной от аппроксимаций, присущих методу ошибки предсказания. Тогда остается неизвестным, приведет ли процедура выработки начальных значений в область притяжения к глобальному минимуму критерия ошибки предсказания.