10.2. ОЦЕНИВАНИЕ ПАРАМЕТРОВ НЕЛИНЕЙНЫХ СИСТЕМ

В некоторых нелинейных задачах более удобно непосредственно записать нормальные уравнения (10.1.6) и применить для их решения итеративные методы. Успешность этих методов зависит от формы уравнений и конкретных особенностей используемого итеративного метода. Длярешения задачи с помощью такого подхода имеется несколько широко распространенных приемов, пригодных для получения оценок параметров с помощью стандартных вычислений на ЭВМ. Мы рассмотрим здесь три из них: 1) метод линеаризации, 2) метод наискорейшего спуска и 3) компромиссный метод Маркуардта.

Метод линеаризации

Метод линеаризации (или метод разложения в ряд Тейлора) состоит в многократном использовании результатов линейного МНК. Пусть постулированная модель имеет вид (10.1.4). Пусть, далее, есть исходные значения оценок параметров

Эти начальные значения могут быть разумно предугаданы или предварительно оценены на основе любой имеющейся информации. (Можно взять, например, значения, полученные при подгонке аналогичных уравнений в другой лаборатории или представляющиеся экспериментатору правдоподобными на основе знаний и интуиции.) Можно надеяться, что исходные оценки будут улучшаться в описанном ниже процессе последовательных итераций.

Если разложить функцию в ряд Тейлора в окрестности точки и ограничиться производными первого порядка, то можно утверждать, что для близких друг к другу векторов приблизительно верно соотношение

Введя обозначения

можно приближенно записать модель (10.1.4) в виде

Таким образом, получена линейная форма этой модели вида (10.0.1), удовлетворяющая выбранной степени аппроксимации. Параметры можно теперь оценить, применяя теорию линейного МНК. Пусть

Тогда оценка вектора выражается формулой

Следовательно, вектор будет минимизировать сумму квадратов

по отношению к Таким образом, величины можно считать улучшенными оценками элементов вектора

Отметим, кстати, несовпадение между суммой квадратов в (10.1.5), где использовалась соответствующая нелинейная модель, и суммой квадратов (10.2.7), где фигурирует линейная аппроксимация (линейное разложение) модели.

Мы можем теперь считать, что величины уточненные оценки параметров — служат исходными для последующего уточнения, т. е. они играют ту же роль, что прежде величины Затем можно продолжить уточнение параметров точно тем способом, который был описан выше, используя уравнения (10.2.1) и (10.2.7), в которых все нулевые индексы должны быть заменены на единичные. Это приведет к другому набору уточненных оценок и т. д. Обобщая прежние

обозначения, можно записать в векторной форме

где

Этот итеративный процесс продолжается до тех пор, пока он не сойдется, т. е. пока последовательные итерации не будут удовлетворять условию где есть некоторая наперед заданная малая величина (например, 0,000001). Вычисляя для каждой итерации сумму проверяем, происходит ли ее уменьшение.

Процедура линеаризации имеет ряд недостатков, существенных при решении некоторых конкретных задач.

1. Она может сходиться очень медленно, т. е. может потребоваться много итераций, прежде чем решение стабилизируется, хотя сумма квадратов может и уменьшаться последовательно, с увеличением номера итерации Такое поведение не является типичным, но может встретиться.

2. Могут возникнуть сильные колебания, т. е. периодические увеличения и уменьшения суммы квадратов. Тем не менее в конце концов решение может стабилизироваться.

3. Процедура может вообще не сходиться и даже расходиться, так что сумма квадратов от итерации к итерации будет увеличиваться.

Для преодоления этих недостатков в программе, написанной в 1958 г. Вузом (Booth G. W.) и Питерсоном (Peterson Т. I.) под руководством Бокса (Box G. Е. Р.) — см.: Non-linear estimation, IBM SHARE Program Pa, N 687 (WLNLI), предусматривается возможность изменения длины корректирующего вектора в уравнении (10.2.8), а именно уменьшение длины вдвое, если справедливо неравенство и, наоборот, увеличение длины вдвое при соблюдении альтернативного неравенства Такое уменьшение или увеличение длины корректирующего вектора продолжается до тех пор, пока не найдутся три точки между между которыми заключен локальный минимум Чтобы локализовать минимум, используется квадратичная интерполяция, и итеративный цикл начинается снова.

Хотя теоретически этот метод сходится всегда (см.: Hartley Н. О. The modified Gauss-Newton method for fitting of nonlinear regression functions by least squares.- Technometrics, 1961, 3, p. 269-280), на практике могут возникнуть трудности. Так, например, в случае, рассмотренном Смитом (см.: Smith N. Н. Transient operation of continuous stirred tank reactors.- University of Wisconsin, Ph. D. Thesis, 1963), нелинейность модели приводила к огромным «выбросам» и, несмотря на то что длина корректирующего вектора десять раз уменьшалась вдвое, никакого уменьшения суммы

по сравнению с первоначальной величиной достигнуто не было. Хотй первоначальная величина составляла меньше вычисления привели к такой большой величине суммы (более 10308), что она «переполнила» память машины. Безуспешная попытка получить оценки данным методом не была, между прочим, описана в этих материалах. Вместо этого был использован метод случайного поиска. Мы упоминаем данный пример лишь для того, чтобы подчеркнуть, что подобные трудности существуют. Метод линеаризации полезен и позволяет успешно решать многие нелинейные задачи. В тех случаях, когда это не так, надо рассматривать такие альтернативы, как репараметризация модели (см. § 10.4) или компромиссный метод Маркуардта.

Замечание о производных. Многие вычислительные программы, в которых используется метод линеаризации, предполагают знание значений производных от функции отклика по параметрам в некоторых точках. Вместо них обычно вычисляются отношения вида

где заранее выбранное малое приращение. Отношение, указанное выше, служит приближенным выражением производной

так как если стремится к 0, то предел этого отношения есть производная (по определению).

Геометрическая интерпретация линеаризации

Сумма квадратов есть функция только от параметров Экспериментальные данные определяют лишь некоторые численные коэффициенты в выражении и они не изменяются в любой конкретной задаче нелинейного оценивания. В параметрическом пространстве, т. е. в р-мерном геометрическом пространстве величин функцию можно представить в виде контуров поверхности. Для линейной по параметрам модели контуры имеют эллипсоидную форму и существует точка 0, в которой достигается единственный локальный (а также и глобальный) минимум, равный Для нелинейной по параметрам модели контуры не будут эллипсоидными, а будут иметь нерегулярную, зачастую «бананоподобную» форму. При этом может быть несколько точек локального

минимума и возможно более одной точки глобального минимума, т. е. одно и тоже наименьшее значение может достигаться в нескольких точках параметрического пространства. На рис. 10.1 приведены примеры для случая На рис. 10.1, а изображены эллиптические контуры поверхности для линейной модели, а на рис. 10.1, б - нерегулярные контуры поверхности для нелинейной модели.

Рис. 10.1. а) Эллиптические контуры поверхности для линейной модели эти эллипсы имеют единственную точку минимума . б) Нерегулярные контуры поверхности для нелинейной модели с двумя точками локального минимума. Искомой точкой является , но итерации могут привести в точку Р. Итеративные процедуры для проверки надо осуществлять» стартуя из нескольких случайно разбросанных начальных точек

Точная форма и ориентация контуров зависит от модели и от данных. Если контуры, окружающие точку , сильно вытянуты и имеется много точек , почти таких же «хороших», как и , в том смысле, что соответствующие им значения близки к то говорят, что задача плохо обусловлена, оценки могут быть вычислены с трудом. Плохая обусловленность может указывать на то, что модель перепараметризована, т. е. что она содержит больше параметров, чем это необходимо, или на то, что данных недостаточно, и это не позволяет нам оценить постулированные параметры. Поскольку это две стороны одной медали, выбор той или иной причины зависит от априорных знаний о практической задаче и от определенной точки зрения. Рассмотрим, например, функцию входящую в уравнение (10.0.3). Этой функции соответствует кривая, которая начинается при и «заканчивается при Ее ордината

в начале и в конце равна нулю, и в некоторой точке на этом интервале она достигает максимума. Наклон кривой в начале координат, при равен а максимум достигается при

Рис. 10.2. а) Эти данные позволяют оценить начальный наклон кривой (начальную скорость) но не дают возможности найтн максимум на кривой, который зависит также и от Поверхность соответствующая уравнению (10.0.3), плохо обусловлена,

б) Дополнительные данные, показанные на рисунке, позволяют оценить оба параметра входящие в уравнение (10.0.3). Поверхность теперь оказывается сравнительно хорошо обусловленной

Отсюда следует, что, если имеющиеся данные охватывают только начальный участок кривой (см. рис. 10.2, а), существует возможность оценить только но не Чтобы оценить второй параметр, должна быть получена информация с того участка кривой, на котором находится точка максимума, как показано на рис. Однопараметрическая модель была бы адекватна данным, указанным на рис. 10.2, а, однако этих данных недостаточно для оценивания двухпараметрической модели, выражаемой уравнением (10.0.3).

Метод линеаризации сводит задачу отыскания минимума суммы для нелинейной модели, начиная с некоторой исходной точки к последовательности задач с линейными моделями. Начальная

(кликните для просмотра скана)

линеаризация функции в окрестности точки в соответствии с выражением (10.2.1) приводит к замене нерегулярного контура на эллипсоидный контур форма которого «выглядит правильной», т. е. для него характерны те же самые производные от соответствующей функции по параметрам при Как мы увидим далее, в примере § 10.3, такой способ аппроксимации истинных контуров 5 (0) может быть плохим или хорошим в зависимости от следующих обстоятельств: самой постулированной модели, имеющихся данных и относительного расположения точек и 0 в параметрическом пространстве. В любом случае мы решаем «линеаризованную при задачу, продвигаясь к точке минимума для контуров линеаризованной модели при помощью довольно простых МНК-вычислений), как это показано на рис. 10.3. Затем мы повторяем весь «линеаризованный» процесс при 0 Мы надеемся, что последовательные итерации приведут нас к точке 0, как показано на рис. 10.4, и процесс не разойдется. Обычно линеаризация проходит успешно, если стартовая точка близка к 0, поскольку в этом случае истинные контуры поверхности суммы квадратов будут хорошо аппроксимироваться приближенными контурами, соответствующими линеаризованной модели.

Более подробно геометрия линейного и нелинейного методов наименьших квадратов рассматривается в § 10.5 и 10.6.

Метод наискорейшего спуска

Метод наискорейшего спуска использует выражение (10.1.5) для суммы квадратов, а также итеративный процесс нахождения минимума этой функции. Основная идея состоит в том, чтобы двигаться из исходной точки в направлении вектора с компонентами

величины которых непрерывно изменяются вдоль траектории. Один из путей реализации этого движения без использования точных функциональных выражений производных состоит в оценивании составляющих указанного выше вектора антиградиента в различных точках пространства параметров путем аппроксимации поверхности плоскостью. Этот метод имеет большое значение в экспериментальных исследованиях для нахождения стационарной точки. Полное

описание метода дается в книге: Davies О. L. Design and analysis of Industrial Experiments.- Edinburgh: Oliver and Boyd, 1954; здесь он будет рассмотрен совсем кратко.

Процедура состоит в следующем. Начиная из некоторой области пространства , или параметрического пространства, как мы его будем чаще именовать, делают несколько шагов путем выбора комбинаций уровней параметров и производят вычисления величины для этих комбинаций. Шаги обычно выбирают по схеме факторного эксперимента на двух уровнях. Используя вычисленные значения как наблюдения зависимой переменной и комбинации уровней параметров как соответствующие значения факторов, мы получаем модель

которую мы оцениваем, пользуясь стандартным Здесь 0 есть среднее значение уровней переменных используемых в шагах, масштабный фактор, который выбирается таким образом, чтобы выполнялось условие

Мы полагаем, что истинная поверхность, определяемая функцией в той области пространства параметров, в которой мы делаем шаги, может быть аппроксимирована плоскостью. Оценки коэффициентов

указывают направление наискорейшего возрастания функции, а отрицательные компоненты

задают направление наискорейшего спуска. Это означает, что до тех пор, пока справедлива линейная аппроксимация, максимальное уменьшение величины будет получаться при движении вдоль линии, которая содержит такие точки, как Если обозначить коэффициент пропорциональности через то линия наискорейшего

спуска содержит точки удовлетворяющие уравнению

где

Придавая различные значения к, будем двигаться по траектории наискорейшего спуска. Значения Я выбираются таким образом и движение вдоль траектории наискорейшего спуска производится до тех пор, пока величина убывает. Если этого не происходит, то переходят к другому экспериментальному плану, и процесс продолжают до тех пор, пока он не сходится к величине 0, которая минимизирует

Хотя теоретически метод наискорейшего спуска должен сходиться, на практике могут встретиться такие ситуации, когда после довольно быстрого первоначального продвижения происходит резкое замедление. В частности, медленная сходимость, вероятно, имеет место тогда, когда контуры поверхности оказываются узкими и имеют форму банана (как зачастую это и бывает на практике), а также когда траектория наискорейшего спуска имеет зигзагообразную форму, с медленным перемещением вдоль узкого оврага. Каждая итерация здесь приводит лишь к незначительному уменьшению величины (Это не столь существенно для лабораторных исследований, где вмешательство экспериментатора позволяет на каждом этапе вычислений пересматривать экспериментальные планы, а также менять масштаб независимых переменных и т. д.). Подобные трудности привели к появлению ряда модификаций основного метода наискорейшего спуска, в которых используется нелинейная аппроксимация (см. например: Spang Н. A. A review of minimization techniques of nonlinear functions.- Society for Industrial and Applied Mathematics Review, 1962, 4, p. 343-365). Одна из возможных модификаций, в частности, состоит в использовании аппроксимации второго порядка вместо первого порядка. Хотя это и приводит к лучшему описанию действительной поверхности однако требует дополнительных вычислений при проведении итерации.

Другой недостаток метода наискорейшего спуска состоит в том, что он неинвариантен по отношению к изменению масштаба. Это означает, что если изменить масштабные коэффициенты то определяемое направление движения изменится неодинаково для всех переменных. Метод наискорейшего спуска, вообще говоря, несколько

менее предпочтителен, чем метод линеаризации, но является вполне удовлетворительным для многих нелинейных ситуаций, особенно если используются некоторые модификации основного метода.

В общем, этот метод работает хорошо в той области параметрического пространства, которая находится вдали от искомой точки 0, что имеет обычно место на ранних итерациях. По мере приближения к точке 0 с помощью этой процедуры происходит зигзагообразное движение, тогда как метод линеаризации работает лучше. Процедура Маркуардта, основанная на работе: Levenberg method for the solution of certain nonlinear problems in least squares.- Quarterly of Applied Mathematics, 1944, 2, p. 164-168, учитывает эти обстоятельства.

Компромиссный метод Маркуардта

Метод, развитый Маркуардтом (см.: Магquагdt D. W. Ап algorithm for least squares estimation/ nonlinear parameters.-Journal of the Society for Industrial and Applied Mathematics, 1963, 2, p. 431- 441), по-видимому, существенно расширяет число практических задач, в которых может применяться нелинейное оценивание. Метод Маркуардта представляет собой компромисс между методом линеаризации (или методом с разложением модели в ряд Тейлора) и методом наискорейшего спуска. Он, вероятно, сочетает в себе наилучшие черты обоих методов, устраняя в то же время их наиболее серьезные недостатки. Он хорош тем, что почти всегда сходится и не приводит к замедлению, как это часто бывает при использовании метода наискорейшего спуска. Однако мы снова подчеркиваем, что во многих практических задачах будут вполне хорошо работать различные методы, если только не нарушены их ограничения. (Вообще мы должны иметь в виду, что если предлагается какой-то особый метод, то обычно можно сконструировать такую задачу, которая покажет его полную несостоятельность. И наоборот, если имеется данная частная задача и предложен какой-то метод для данного случая, то он может оказаться более эффективным с точки зрения скорости сходимости, чем другие методы. Метод Маркуардта — это такой метод, который, по-видимому, хорошо работает в самых различных задачах, и это является существенным аргументом при выборе данного метода во многих практических ситуациях. По причинам, которые были сформулированы выше, не существует, однако, такого метода, который можно было бы назвать «наилучшим» для всех нелинейных задач.)

Идею метода Маркуардта можно пояснить кратко следующим образом. Предположим, что мы начинаем двигаться из некоторой точки пространства параметров Если применяется метод наискорейшего спуска, то мы получим некоторый вектор (где индекс означает, что вектор направлен вдоль градиента), определяющий направление движения из начальной точки. Из-за большой вытянутости контуров поверхности это может быть лучшим локальным направлением, при движении по которому получается наименьшее значение ,

но это может и не быть наилучшим глобальным направлением. Однако угол между наилучшим направлением и направлением вектора не должен превышать 90°, иначе функция станет увеличиваться. Метод линеаризации приводит к другому корректирующему вектору , который задается формулой, подобной (10.2.6). Маркуардт нашел, что в тех практических задачах, которые он изучал, угол, который обозначим буквой между и лежит в пределах Другими словами, оба направления почти всегда составляют прямой угол. Алгоритм Маркуардта приводит к интерполяции между векторами и и позволяет получать также подходящие размеры шагов.

Мы не будем в деталях рассматривать этот метод. Основной алгоритм описан в работах, приведенных в библиографии; обсуждение метода содержится в работе: Мееtег D. A. Problems in the analysis of nonlinear models by least squares.- University of Wisconsin, Ph. D. Thesis, 1964. С программами вычислений можно ознакомиться в работах: Marquardt D. W. Least squares estimation of nonlinear parameters, a computer program in Fortran IV language.- IBM SHARE Library, Distribution N 309401, August 1966. (Successor to Distribution Numbers 1428 and 3094); Marquardt D. W., Stanley R. M. NLIN 2 - Least squares estimation of nonlinear parametrs, supplement to S.D.A. - 3093 (NLIN), 1964. Mimeo manuscript.

Примечание. Программы непрерывно совершенствуются, поэтому и сейчас могут появляться свежие, более интересные варианты.

Доверительные контуры

Некоторые дополнительные представления о нелинейности модели можно получить при дальнейшем ее изучении после нахождения оценки вектора 0 в результате построения эллипсоидных

доверительных областей, исходя из линеаризованной формы модели. Эллипсоидная доверительная область задается неравенством

где означает матрицу, приведенную в уравнении (10.2.4), но с подстановкой вектора 0 вместо и где также

Заметим, что если разница между последовательными величинами будет достаточно малой и процедура линеаризации закончится при значении то станет минимальным значением суммы согласно уравнению (10.1.5) в пределах точности, связанной с выбранным правилом останова. Это можно увидеть, исследуя уравнение (10.2.7), в котором величины и заменены соответственно величинами и вспоминая, что в соответствии с правилом останова точность определяется соотношением Эллипсоид, описанный выше, не будет представлять истинную доверительную область, если модель окажется нелинейной. Можно, однако, определить конечные точки на главных осях этого эллипсоида путем канонического преобразования уравнения (см., например: Davies О. L. Design an Analysis of Industrial Experiments.- Edinburgh, Scotland: Oliver and Boyd, 1954). Для этих точек могут быть вычислены и сопоставлены между собой истинные значения суммы В случае линейной параметризации все они должны быть одинаковыми.

Границы точной доверительной области определяются выражением но так как неизвестно действительное распределение случайных величин в общем нелинейном случае, то не удается найти соответствующую доверительную вероятность (уровень

значимости). Однако можно, например, выбрать контуры так, чтобы выполнялось соотношение

В таком случае, если модель линейна, они дают точную -ную эллипсоидную границу (см. 2.6 и 10.5) и представляют собой также границу приближенной 100 (1—а) -ной доверительной области для нелинейного случая. Заметим, что определяемые таким образом контуры будут соответствовать правильным доверительным контурам в этом случае (по форме они, в общем, не будут эллипсоидными), но доверительная вероятность будет приближенной. Если модель содержит лишь два параметра, то доверительные контуры можно вычертить. В случае большого числа параметров при желании можно построить соответствующие сечения.

В общем случае, если используется линеаризованная форма представления нелинейной модели, могут применяться все обычные формулы и аналитические процедуры линейной регрессии. Любые получаемые результаты, однако, имеют силу лишь постольку, поскольку линеаризованная форма модели дает хорошую аппроксимацию истинной модели.

Сетки и графики

Зачастую из виду упускают два очевидных способа исследования суммы квадратов 5 (0). Они могут быть полезны в особенности тогда, когда итеративная процедура начиная с некоторой исходной точки не дает удовлетворительной сходимости.

В первом из них выбирается сетка из точек и «проводится факторный эксперимент» в пространстве параметров (Эх, в каждой точке сетки вычисляют (в общем случае — с помощью ЭВМ) соответствующую ей сумму квадратов. Эти значения дают некоторое представление о форме поверхности суммы квадратов отклонений и могут позволить, например, обнаружить, что существует несколько минимумов. Во всяком случае, точка сетки, в которой получено наименьшее значение суммы квадратов, может использоваться как исходная в итеративной процедуре оценивания параметров или для построения более густой сетки и более детального исследования окрестности этой точки, чтобы получить лучшую исходную точку. Простейший тип сетки — это сетка, в которой выбираются два уровня для каждого параметра. В этом случае узлы сетки становятся точками факторного эксперимента и можно использовать стандартные методы для вычисления факторных эффектов и взаимодействий и, таким образом, получить информацию об эффектах изменения параметров функции .

Вторая возможность заключается в том, чтобы вычертить контуры суммы квадратов в какой-либо отдельной области пространства параметров, где имеет место плохая сходимость или для которой нужна дополнительная информация. Это обычно имеет смысл делать тогда,

когда модель содержит один или два параметра. Если параметров больше, то мы можем получить контуры на плоскости, зафиксировав значения всех параметров, кроме двух, и тогда можно воспроизвести сравнительно сложную картину.

Важность выбора хорошей исходной точки

Все итеративные процедуры требуют знания исходных (начальных) значений параметров Чтобы сделать их наиболее подходящими, следует использовать всю имеющуюся информацию. Хорошие исходные значения параметров зачастую обеспечивают сходимость итеративной процедуры к решению намного быстрее, чем это возможно в других случаях. Итак, если существует множество минимумов или имеется несколько локальных минимумов в дополнение к глобальному минимуму, то плохие исходные значения могут в результате привести к сходимости к нежелательной стационарной точке поверхности суммы квадратов. Эта нежелательная точка может соответствовать таким значениям параметров, которые физически нереализуемы или не дают истинной минимальной величины Как уже говорилось ранее, очень полезно провести предварительные вычисления значений суммы квадратов в ряде точек сетки пространства параметров.

Получение исходных оценок

Изобрести стандартный, пригодный для любой задачи нелинейного оценивания метод отыскания начальных оценок не удается. На практике в зависимости от особенностей задачи, пользуются одним из следующих приемов.

1. Если постулированная модель содержит оцениваемых параметров, в нее подставляют наборов имеющихся данных считая ошибки эксперимента равными нулю. Решают полученные уравнений относительно параметров (если это возможно). При этом выбор наиболее различающихся величин нередко дает лучшие результаты.

2. Применяя первый прием или рассматривая в качестве альтернативы поведение функции отклика при условии, что стремится к нулю или бесконечности, в полученные выражения подставляют результаты наблюдений, которые более всего отвечают этим условиям. Затем, если это возможно, решают систему полученных уравнений.

3. Исследуют форму модели, полагая аддитивную ошибку равной нулю, с тем чтобы (если это возможно) хотя бы приближенно преобразовать модель к более простому выражению. Так, например, если модель имеет вид график зависимости от обычно дает хорошие начальные оценки параметров первый из которых — отрезок, отсекаемый на оси ординат, а второй равен тангенсу угла наклона прямой к оси абсцисс. (Если бы модель

включала ошибку мультипликативно, т. е. имела бы вид то преобразование было бы строго обоснованным.)

4. Более сложный пример применения метода 3 — модель используемая при описании процессов роста (см. Mead R. Plant density and crop yield.-Applied Statistics, 1970, 19, p. 64-81). Когда график зависимости величины от X представляет собой прямую линию с параметрами: отрезок, отсекаемый на оси ординат, тангенс угла наклона прямой к оси абсцисс. Если после вычерчивания такого графика для конкретной задачи обнаружится, что он имеет вид кривой линии, то методом «проб и ошибок» можно подобрать такие значения параметров чтобы график зависимости от Xе превратился в достаточно «хорошую» прямую линию. Как только это достигнуто, соответствующие значения величин 0 могут использоваться в качестве исходных оценок. Заметим, что в моделях, подобных данной, при плохих начальных оценках величина может оказаться отрицательной, что приведет к вычислительным трудностям. Хорошие начальные оценки зачастую позволяют избежать таких неприятностей.

5. Если все попытки тщетны, можно использовать сетки и графики — см. с. 209—210.

(Примечание. Когда в качестве исходных значений параметров вначале выбраны малые величины, ожидается, что в итеративной процедуре некоторые параметры будут иметь малые значения, надо позаботиться о том, чтобы интервалы при вычислении частных производных имели соответственно малые значения. Если этого не делать, то некоторые приемы определения оценок параметров окажутся непригодными.)