10.6. ГЕОМЕТРИЯ НЕЛИНЕЙНОГО МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

Выборочное пространство

Для нелинейной модели не удается построить матрицу X, которой мы располагали в линейном случае. К тому же пространство оценок нельзя определить с помощью набора векторов. Оно может быть очень сложным. Пространство оценок, называемое также геометрическим местом точек решения, состоит из всех точек, координаты которых имеют вид

Поскольку сумма квадратов все же представляет собой квадрат расстояния от точки до точки пространства оценок, минимизация функции по соответствует геометрически нахождению в пространстве оценок такой точки Р, которая ближе всего расположена к Выборочное пространство для очень простого нелинейного случая с наблюдениями и полученными при соответственно, и единственным параметром показано на рис. 10.14. Пространство оценок представляет собой кривую, которая содержит точки

Рис. 10.14. Выборочное пространство при нелинейная

Рис. 10.15. Выборочное пространство при нелинейная

где меняется, фиксированы. Точка У имеет координаты а Я есть точка пространства оценок, лежащая ближе всего к

На рис. 10.15 для примера показано выборочное пространство с наблюдениями полученными при соответственно, при условии, что модель содержит два параметра Кривые линии определяют систему координат для параметров в пространстве оценок или в геометрическом месте точек решения, которое включает все точки вида

когда и меняются, а фиксированы. Точка имеет координаты , а Р есть точка в пространстве оценок, которая ближе всего к точке У. Применяя метод линеаризации к нелинейным задачам, выбирают точку в пространстве оценок, скажем, точку как новое начало, определяющее линеаризованное пространство оценок параметров в форме касательного пространства, проходящего через точку и решают линейную задачу, используя метод наименьших квадратов, как было описано ранее. Это решение (выраженное в единицах скорости изменения величины 0 и поэтому пригодное лишь в окрестности служит для построения новой начальной точки Она соотносится снова с нелинейной задачей, где решение может быть и неправильным. Затем проводится следующая итерация. Для нелинейной задачи, включающей только два наблюдения для модели с одним параметром, эффект линеаризации изображен на рис. 10.16.

Рис. 10.16. Геометрическая интерпретация метода линеаризации

На рис. 10.16 представлено пространство оценок или геометрическое место точек решения с нанесенными на кривой единицами масштаба для параметра Здесь предполагается, что и что точка, обозначенная через есть точка пространства оценок, соответствующая значению параметра и т. д. Заметим, что на кривой масштаб для неравномерен в силу нелинейности модели и неравномерности координатной системы. На рисунке показана также касательная к кривой, т. е. к пространству оценок при на которой изменение отражено уже в равномерном масштабе и соответствует единицам скорости изменения, найденной при Мы видим теперь, что МНК-оценка основана на линейном подходе.

Геометрически это означает отыскание такой точки что отрезок перпендикулярен к касательной линии. Мы видим, что в линеаризованных единицах величина , отвечающая точке (см. рис. 10.16), равна примерно 3,2. На следующей итерации метода линеаризации мы, таким образом, используем касательную к

пространству оценок в точке, где в точке Отсюда легко видеть причину, вследствие которой процедура линеаризации иногда приводит к неверным результатам. Если скорость изменения величины в точке мала, но быстро возрастает, то шкала масштаба на касательной линии может оказаться довольно нереалистичной. Подобная ситуация отражена на рис. 10.17. Скорость изменения в точке мала, и потому мала единица линеаризованного масштаба для . А настоящие единицы масштаба (на кривой) увеличиваются при этом быстро. Если мы начинаем теперь следующую итерацию, используя найденную величину 0, которая равна примерно 26 в точке то наша исходная точка на кривой, в которой 0 равно этому значению, будет дальше от лучшей точки Р, чем точка, отвечающая начальной оценке

Такая ситуация в некоторых случаях может быть скорректирована в ходе последующих итераций, но иногда это не удается. (Хотя мы использовали начальную оценку и единицы масштаба для простоты, предыдущее замечание справедливо и в общем случае, какой бы ни была исходная величина оценки и какой бы ни была шкала масштаба поблизости от точки

Рис. 10.17. Влияние большой неравномерности шкалы на метод линеаризации

Если имеется более двух наблюдений и более одного параметра, то в общем случае сохраняется то же положение, но ситуация становится более сложной и ее трудно или даже невозможно изобразить графически.

Если модель линейная, то контуры постоянных значений в выборочном пространстве представляют собой сферы. В нелинейных случаях это уже несправедливо и могут возникнуть довольно нерегулярные контуры, включающие все точки пространства оценок эквидистантные с точкой

Пространство параметров

В случае линейной модели контуры постоянных значений в параметрическом пространстве есть концентрические эллипсоиды. Если модель нелинейна, то контуры иногда имеют вид бананоподобных фигур, зачастую довольно вытянутых. В некоторых случаях контуры оказываются бесконечно вытянутыми и незамкнутыми или

могут иметь множество петель, окружающих ряд стационарных точек. Если существует несколько стационарных точек, им могут соответствовать разные значения суммы квадратов, вследствие чего процедура оценивания может приводить к разным результатам. Рассмотрим, например, модель

Эта модель инвариантна относительно перестановки параметров Таким образом, если минимум достигается при , то в точности такая же минимальная величина этой суммы достигается и при т. е. существуют два решения. О существовании множества решений часто нелегко узнать вообще. Примеры бананоподобных контуров приведены в § 10.3.

Доверительные контуры в нелинейном случае

Для нелинейной модели некоторые результаты, справедливые для линейного случая, неприменимы. Если предположить, что ошибка 8 в нелинейной модели (10.1.1) распределена нормально, то оценки параметров 0 совсем не обязательно будут подчиняться нормальному распределению. Оценка не служит несмещенной оценкой дисперсии и вообще здесь нет никакой матрицы дисперсий и ковариаций оценок параметров вида

Хотя доверительные области все же могут быть определены с помощью выражения

которое в линейном случае дает -ную доверительную область, но даже при нормально распределенных ошибках доверительная вероятность в случае нелинейной параметризации уже не будет равна . Мы не знаем вообще, какой она будет, и потому можем

назвать такие области приблизительно -ными доверительными областями для .

Бананоподобные контуры в примере § 10.3 были получены именно таким путем. И хотя подходящие сравнения средних квадратов и остаются все же наглядными, использование -критерия Фишера для проверки гипотез о параметрах нелинейной регрессионной модели и проверки ее адекватности нельзя считать корректным.

Мера нелинейности

Было сделано несколько предложений по поводу того, как измерять степень нелинейности модели в нелинейных задачах. Такого рода мера должна нам помочь, например, ответить, на вопрос: позволяет ли линеаризация модели получить приемлемую аппроксимацию? Обсуждение различных аспектов этой проблемы и подходящие ссылки на литературу можно найти в работе: Bates D. М., Watts D. G. Relative curvature measures of nonlinearity.- Jornal of the Royal Statistical Society, 1980, В-42, p. 1-16, discussion 16-25