1.4. Линейность

Для того чтобы понять, какой смысл мы вкладываем в термин «нелинейное оценивание», введем сначала следующие определения: некоторое выражение является линейным по множеству переменных если оно имеет вид где коэффициенты не являются функциями от Выражение квадратично по если оно имеет вид где снова все коэффициенты не зависят от Если продифференцировать теперь квадратичное выражение по одному из то мы получим линейное выражение.

В задачах линейного оценивания уравнения моделей являются линейными выражениями по неизвестным параметрам, как, например, . В том случае, когда уравнения модели нелинейны, как в мы говорим о нелинейном оценивании. Однако даже некоторые задачи, кажущиеся линейными, по существу являются нелинейными. Это объясняется тем, что для оценки параметров мы обычно минимизируем некоторую функцию, такую, как сумма квадратов остатков. Для нахождения минимума этой функции мы приравниваем ее производные (по параметрам) нулю и решаем полученные уравнения относительно неизвестных параметров. Если уравнения модели линейны по параметрам, функция суммы квадратов остатков квадратична, а производные от нее снова линейны. Оценки, таким образом, рассчитываются путем решения системы линейных уравнений. Но если минимизируются некоторые другие функции, которые не являются квадратичными, то решаемые уравнения уже не будут линейными, даже если линейны уравнения модели. Такие задачи тоже следует считать задачами нелинейного оценивания. Примеры подобных задач приводятся в разделах 4.8-4.9.