Пред.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
10.2. ОЦЕНИВАНИЕ ПАРАМЕТРОВ НЕЛИНЕЙНЫХ СИСТЕМВ некоторых нелинейных задачах более удобно непосредственно записать нормальные уравнения (10.1.6) и применить для их решения итеративные методы. Успешность этих методов зависит от формы уравнений и конкретных особенностей используемого итеративного метода. Длярешения задачи с помощью такого подхода имеется несколько широко распространенных приемов, пригодных для получения оценок параметров с помощью стандартных вычислений на ЭВМ. Мы рассмотрим здесь три из них: 1) метод линеаризации, 2) метод наискорейшего спуска и 3) компромиссный метод Маркуардта. Метод линеаризацииМетод линеаризации (или метод разложения в ряд Тейлора) состоит в многократном использовании результатов линейного МНК. Пусть постулированная модель имеет вид (10.1.4). Пусть, далее, Эти начальные значения могут быть разумно предугаданы или предварительно оценены на основе любой имеющейся информации. (Можно взять, например, значения, полученные при подгонке аналогичных уравнений в другой лаборатории или представляющиеся экспериментатору правдоподобными на основе знаний и интуиции.) Можно надеяться, что исходные оценки будут улучшаться в описанном ниже процессе последовательных итераций. Если разложить функцию
Введя обозначения
можно приближенно записать модель (10.1.4) в виде
Таким образом, получена линейная форма этой модели вида (10.0.1), удовлетворяющая выбранной степени аппроксимации. Параметры
Тогда оценка вектора
Следовательно, вектор
по отношению к Отметим, кстати, несовпадение между суммой квадратов Мы можем теперь считать, что величины обозначения, можно записать в векторной форме
где
Этот итеративный процесс продолжается до тех пор, пока он не сойдется, т. е. пока последовательные итерации Процедура линеаризации имеет ряд недостатков, существенных при решении некоторых конкретных задач. 1. Она может сходиться очень медленно, т. е. может потребоваться много итераций, прежде чем решение стабилизируется, хотя сумма квадратов 2. Могут возникнуть сильные колебания, т. е. периодические увеличения и уменьшения суммы квадратов. Тем не менее в конце концов решение может стабилизироваться. 3. Процедура может вообще не сходиться и даже расходиться, так что сумма квадратов от итерации к итерации будет увеличиваться. Для преодоления этих недостатков в программе, написанной в 1958 г. Вузом (Booth G. W.) и Питерсоном (Peterson Т. I.) под руководством Бокса (Box G. Е. Р.) — см.: Non-linear estimation, IBM SHARE Program Pa, N 687 (WLNLI), предусматривается возможность изменения длины корректирующего вектора Хотя теоретически этот метод сходится всегда (см.: Hartley Н. О. The modified Gauss-Newton method for fitting of nonlinear regression functions by least squares.- Technometrics, 1961, 3, p. 269-280), на практике могут возникнуть трудности. Так, например, в случае, рассмотренном Смитом (см.: Smith N. Н. Transient operation of continuous stirred tank reactors.- University of Wisconsin, Ph. D. Thesis, 1963), нелинейность модели приводила к огромным «выбросам» и, несмотря на то что длина корректирующего вектора десять раз уменьшалась вдвое, никакого уменьшения суммы по сравнению с первоначальной величиной достигнуто не было. Хотй первоначальная величина составляла меньше Замечание о производных. Многие вычислительные программы, в которых используется метод линеаризации, предполагают знание значений производных от функции отклика по параметрам в некоторых точках. Вместо них обычно вычисляются отношения вида
где
так как если Геометрическая интерпретация линеаризацииСумма квадратов минимума и возможно более одной точки глобального минимума, т. е. одно и тоже наименьшее значение
Рис. 10.1. а) Эллиптические контуры поверхности Точная форма и ориентация контуров в начале и в конце равна нулю, и в некоторой точке на этом интервале она достигает максимума. Наклон кривой в начале координат, при
Рис. 10.2. а) Эти данные позволяют оценить начальный наклон кривой (начальную скорость) б) Дополнительные данные, показанные на рисунке, позволяют оценить оба параметра Отсюда следует, что, если имеющиеся данные охватывают только начальный участок кривой (см. рис. 10.2, а), существует возможность оценить только Метод линеаризации сводит задачу отыскания минимума суммы (кликните для просмотра скана) линеаризация функции Более подробно геометрия линейного и нелинейного методов наименьших квадратов рассматривается в § 10.5 и 10.6. Метод наискорейшего спускаМетод наискорейшего спуска использует выражение (10.1.5) для суммы квадратов, а также итеративный процесс нахождения минимума этой функции. Основная идея состоит в том, чтобы двигаться из исходной точки
величины которых непрерывно изменяются вдоль траектории. Один из путей реализации этого движения без использования точных функциональных выражений производных состоит в оценивании составляющих указанного выше вектора антиградиента в различных точках пространства параметров путем аппроксимации поверхности описание метода дается в книге: Davies О. L. Design and analysis of Industrial Experiments.- Edinburgh: Oliver and Boyd, 1954; здесь он будет рассмотрен совсем кратко. Процедура состоит в следующем. Начиная из некоторой области пространства
которую мы оцениваем, пользуясь стандартным
Мы полагаем, что истинная поверхность, определяемая функцией
указывают направление наискорейшего возрастания функции, а отрицательные компоненты
задают направление наискорейшего спуска. Это означает, что до тех пор, пока справедлива линейная аппроксимация, максимальное уменьшение величины спуска содержит точки
где
Придавая различные значения к, будем двигаться по траектории наискорейшего спуска. Значения Я выбираются таким образом и движение вдоль траектории наискорейшего спуска производится до тех пор, пока величина Хотя теоретически метод наискорейшего спуска должен сходиться, на практике могут встретиться такие ситуации, когда после довольно быстрого первоначального продвижения происходит резкое замедление. В частности, медленная сходимость, вероятно, имеет место тогда, когда контуры поверхности Другой недостаток метода наискорейшего спуска состоит в том, что он неинвариантен по отношению к изменению масштаба. Это означает, что если изменить масштабные коэффициенты менее предпочтителен, чем метод линеаризации, но является вполне удовлетворительным для многих нелинейных ситуаций, особенно если используются некоторые модификации основного метода. В общем, этот метод работает хорошо в той области параметрического пространства, которая находится вдали от искомой точки 0, что имеет обычно место на ранних итерациях. По мере приближения к точке 0 с помощью этой процедуры происходит зигзагообразное движение, тогда как метод линеаризации работает лучше. Процедура Маркуардта, основанная на работе: Levenberg Компромиссный метод МаркуардтаМетод, развитый Маркуардтом (см.: Магquагdt D. W. Ап algorithm for least squares estimation/ nonlinear parameters.-Journal of the Society for Industrial and Applied Mathematics, 1963, 2, p. 431- 441), по-видимому, существенно расширяет число практических задач, в которых может применяться нелинейное оценивание. Метод Маркуардта представляет собой компромисс между методом линеаризации (или методом с разложением модели в ряд Тейлора) и методом наискорейшего спуска. Он, вероятно, сочетает в себе наилучшие черты обоих методов, устраняя в то же время их наиболее серьезные недостатки. Он хорош тем, что почти всегда сходится и не приводит к замедлению, как это часто бывает при использовании метода наискорейшего спуска. Однако мы снова подчеркиваем, что во многих практических задачах будут вполне хорошо работать различные методы, если только не нарушены их ограничения. (Вообще мы должны иметь в виду, что если предлагается какой-то особый метод, то обычно можно сконструировать такую задачу, которая покажет его полную несостоятельность. И наоборот, если имеется данная частная задача и предложен какой-то метод для данного случая, то он может оказаться более эффективным с точки зрения скорости сходимости, чем другие методы. Метод Маркуардта — это такой метод, который, по-видимому, хорошо работает в самых различных задачах, и это является существенным аргументом при выборе данного метода во многих практических ситуациях. По причинам, которые были сформулированы выше, не существует, однако, такого метода, который можно было бы назвать «наилучшим» для всех нелинейных задач.) Идею метода Маркуардта можно пояснить кратко следующим образом. Предположим, что мы начинаем двигаться из некоторой точки пространства параметров но это может и не быть наилучшим глобальным направлением. Однако угол между наилучшим направлением и направлением вектора Мы не будем в деталях рассматривать этот метод. Основной алгоритм описан в работах, приведенных в библиографии; обсуждение метода содержится в работе: Мееtег D. A. Problems in the analysis of nonlinear models by least squares.- University of Wisconsin, Ph. D. Thesis, 1964. С программами вычислений можно ознакомиться в работах: Marquardt D. W. Least squares estimation of nonlinear parameters, a computer program in Fortran IV language.- IBM SHARE Library, Distribution N 309401, August 1966. (Successor to Distribution Numbers 1428 and 3094); Marquardt D. W., Stanley R. M. NLIN 2 - Least squares estimation of nonlinear parametrs, supplement to S.D.A. - 3093 (NLIN), 1964. Mimeo manuscript. Примечание. Программы непрерывно совершенствуются, поэтому и сейчас могут появляться свежие, более интересные варианты. Доверительные контурыНекоторые дополнительные представления о нелинейности модели можно получить при дальнейшем ее изучении после нахождения оценки вектора 0 в результате построения эллипсоидных доверительных областей, исходя из линеаризованной формы модели. Эллипсоидная доверительная область задается неравенством
где
Заметим, что если разница между последовательными величинами Границы точной доверительной области определяются выражением значимости). Однако можно, например, выбрать контуры так, чтобы выполнялось соотношение
В таком случае, если модель линейна, они дают точную В общем случае, если используется линеаризованная форма представления нелинейной модели, могут применяться все обычные формулы и аналитические процедуры линейной регрессии. Любые получаемые результаты, однако, имеют силу лишь постольку, поскольку линеаризованная форма модели дает хорошую аппроксимацию истинной модели. Сетки и графикиЗачастую из виду упускают два очевидных способа исследования суммы квадратов 5 (0). Они могут быть полезны в особенности тогда, когда итеративная процедура начиная с некоторой исходной точки не дает удовлетворительной сходимости. В первом из них выбирается сетка из точек и «проводится факторный эксперимент» в пространстве параметров (Эх, Вторая возможность заключается в том, чтобы вычертить контуры суммы квадратов в какой-либо отдельной области пространства параметров, где имеет место плохая сходимость или для которой нужна дополнительная информация. Это обычно имеет смысл делать тогда, когда модель содержит один или два параметра. Если параметров больше, то мы можем получить контуры на плоскости, зафиксировав значения всех параметров, кроме двух, и тогда можно воспроизвести сравнительно сложную картину. Важность выбора хорошей исходной точкиВсе итеративные процедуры требуют знания исходных (начальных) значений Получение исходных оценокИзобрести стандартный, пригодный для любой задачи нелинейного оценивания метод отыскания начальных оценок не удается. На практике в зависимости от особенностей задачи, пользуются одним из следующих приемов. 1. Если постулированная модель содержит 2. Применяя первый прием или рассматривая в качестве альтернативы поведение функции отклика при условии, что 3. Исследуют форму модели, полагая аддитивную ошибку равной нулю, с тем чтобы (если это возможно) хотя бы приближенно преобразовать модель к более простому выражению. Так, например, если модель имеет вид включала ошибку мультипликативно, т. е. имела бы вид 4. Более сложный пример применения метода 3 — модель 5. Если все попытки тщетны, можно использовать сетки и графики — см. с. 209—210. (Примечание. Когда в качестве исходных значений параметров вначале выбраны малые величины, ожидается, что в итеративной процедуре некоторые параметры будут иметь малые значения, надо позаботиться о том, чтобы интервалы
|
1 |
Оглавление
|