1.6. Историческая справка
Первым, кто предложил использовать критерий наименьших квадратов для оценивания линейных коэффициентов при подгонке кривой, был Лежандр (1805). Гаусс (1809) подвел статистическую базу под оценивание параметров, показав, что оценки наименьших квадратов
максимизируют плотность нормального (Гауссова) закона распределения вероятности ошибок. Тем самым Гаусс ввел метод максимума правдоподобия. По-видимому, Гаусс и его современники давали чисто эвристическое объяснение методу наименьших квадратов. Последующие исследования самого Гаусса, Коши, Бьенэмэ, Чебышева, Грама, Шмидта и других в XIX и начале XX в. были сосредоточены на вычислительных аспектах линейного метода наименьших квадратов для решения задач подгонки кривых, включая и введение ортогональных полиномов. Толчком к развитию методов статистического оценивания послужили работы Карла Пирсона на рубеже XIX и XX вв. и Р. А. Фишера в 1920-е и 1930-е годы. Последний возродил метод максимума правдоподобия и изучил такие свойства оценок, как состоятельность, эффективность и достаточность (см. [77] ). Развитие Вальдом и другими статистиками теории решений позволило в период после второй мировой войны обосновать выбор критериев оценивания. Применение этих методов для оценки нелинейных параметров было все еще недостаточно полным, за исключением того, что их появление повлекло за собой более осторожное использование априорных распределений. Первые опыты приложения теории статистического оценивания к оценке модели были сделаны в области экономики Купмансом и другими начиная с 1930-го года. Их работа опубликована в докладах Комиссии по охране окружающей среды [108]. Основной вклад в применение статистических методов для построения и оценки математических моделей в области физических наук сделан профессором Дж. Боксом и его сотрудниками в Принстонском и Висконсинском университетах в США.
Расчет оценок параметров нелинейных моделей требует обычно нахождения максимума или минимума нелинейной функции. Численные методы, носящие имена Ньютона, Гаусса и Коши, известны уже очень давно, но их широкое применение для решения практических задач стало возможным лишь с появлением электронных компьютеров. Первую программу общего назначения для решения задач оценивания нелинейным методом наименьших квадратов создали Бут и Петерсон [30] совместно с Боксом. В программе был реализован модифицированный метод Гаусса. Впоследствии было создано множество программ, имеющих более общий характер и решающих некоторые частные задачи оценивания. Список таких программ можно найти в приложении Ж.
