9.6. Способы нахождения начального приближения

В задаче минимизации функции первостепенное значение имеет удачный выбор начального приближения Разумеется, невозможно придумать общего правила, которое было бы удовлетворительно для всех случаев, т. е. для всех возможных нелинейных функций Каждый раз приходится искать свое решение. Ниже предлагается набор некоторых способов нахождения грубых начальных приближений, который на практике может служить отправной точкой поиска удовлетворительных приближений в конкретной задаче.

9.6.1. Поиск на сетке. Особенно эффективен этот метод при небольшом числе собственно нелинейных параметров. Часто функции устроены так, что при фиксации значений одних параметров (которые и называем собственно нелинейными) остальная часть параметров становится линейной.

Задаваясь тогда нижней и верхней границей для нелинейных параметров, с некоторым шагом можно устроить перебор вариантов на полученной сетке значений этих собственно нелинейных параметров и выявить ту линейную регрессию, которая приводит к минимальной сумме квадратов.

В качестве примера рассмотрим функцию

Здесь собственно нелинейным параметром будет . Допустим, известно, что . Пусть h — шаг для параметра . Вычислим линейных регрессий

где и найдем для каждой из них минимальную сумму квадратов. Наименьшей из них соответствует оптимальное начальное приближение. В принципе шаг , от которого зависит «густота» сетки, может варьироваться, так что за счет уменьшения величины h значения параметров могут быть найдены с любой точностью.

9.6.2. Преобразование модели.

Иногда некоторым преобразованием модель можно свести к линейной или же уменьшить число собственно нелинейных параметров (см. п. 6.2.3). Покажем, как этого можно добиться, на примере логистической кривой

Производя над соответствующими уравнениями регрессии обратное преобразование, получим

Обозначая приходим к новой функции, число линейных параметров которой увеличилось с одного до двух . Оценка для параметра в новой модели может быть найдена, например, по предыдущему методу.

Здесь уместно сделать следующее замечание о преобразованиях регрессионных моделей. Следует иметь в виду, что ошибка , входившая аддитивно в исходное уравнение, после преобразования, вообще говоря, уже не будет аддитивна.

Пользуясь разложением в ряд Тейлора и обозначая преобразование через получим, пренебрегая слагаемыми порядка

Отсюда следует, что

Последнее равенство можно взять за основу для анализа задачи с преобразованной моделью.

9.6.3. Разбиение выборки на подвыборки.

Для нахождения начального приближения можно разбить всю выборку на подвыборок (с приблизительно равными объемамй), где — число неизвестных параметров. Для каждой подвыборки найдем средние по у и по X, которые обозначим соответственно т. Решим систему нелинейных уравнений относительно

Решение этой системы и будет являться начальным приближением параметров. Очевидно, для того чтобы данный метод «работал», необходимо, чтобы эта система нелинейных уравнений решалась довольно легко, например аналитически.

9.6.4. Разложение в ряд Тейлора по независимым переменным.

Основой итеративной минимизации суммы квадратов является разложение функции регрессии в ряд Тейлора до линейных членов по параметрам. Для нахождения грубого начального приближения иногда бывает полезна процедура аппроксимации регрессии путем разложения ее в ряд Тейлора по независимым переменным . Будем для простоты считать одномерным. Пусть — среднее значение, тогда приближенно

Обозначим , таким образом приходим к линейной модели

Пусть — мнк-оценки параметров этой линейной регрессии. В качестве начальных приближений примем решение нелинейной системы уравнений относительно

Очевидно, этот метод приемлем в том случае, когда последняя система относительно первоначальных параметров решается довольно просто (аналитически).

Покажем использование этого приема на примере нелинейной регрессии (9.21). Для простоты будем считать Тогда

Подставляя это разложение в (9.21), получим

Обозначив приходим к линейной по Ф модели

Тогда если — мнк-оценки линейной регрессии, то легко проверить, что начальным приближением для параметров 0 будут

В реальности возможна комбинация предложенных способов. Практика показывает, что таким образом можно получить достаточно хорошее начальное приближение для широкого круга нелинейных регрессионных задач.