Глава 9. ВЫЧИСЛИТЕЛЬНЫЕ АСПЕКТЫ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

9.1. Итерационные методы поиска оценок метода наименьших квадратов (мнк-оценок)

9.1.1. Введение.

Гл. 7, 8, 10 и 11 в той или иной мере посвящены изучению статистических свойств оценок, порождаемых регрессионными моделями. В них рассмотрены такие вопросы, как состоятельность, несмещенность, эффективность и т. п. В настоящей главе все внимание уделено численным процедурам отыскания оценок. Для отыскания большинства оценок (см. гл. 5, 7) приходится решать экстремальные задачи вида

Обычно на подобные задачи ссылаются как на задачи взвешенного метода наименьших квадратов. В дальнейшем (9.1) будет именоваться задачей мнк и рассматриваться лишь случай одномерного отклика.

Итак, ближайшая цель — изложение численных методов решения экстремальной задачи

Для некоторого упрощения записей там, где это не вызовет разночтений, вместо будет использоваться запись

Можно рассматривать (9.2) как задачу нелинейного программирования:

где . Многочисленные стандартные алгоритмы и программы для решения задач нелинейного программирования имеются в математическом обеспечении практически любой современной ЭВМ (см. гл. 15).

Особенности использования общих алгоритмов минимизации в статистических задачах неоднократно обсуждались в литературе (см., например, 1172], эта работа содержит обширную библиографию; 1145, 146, 135, 43]). Вообще говоря, любой из этих алгоритмов пригоден для решения (9.3), однако имеются веские аргументы для развития специальных алгоритмов и программ решения экстремальных задач, связанных с анализом данных регрессионных экспериментов.

Во-первых, учет структуры функции позволяет отобрать алгоритмы, работающие наиболее эффективно именно при решении задач типа (9.2).

Во-вторых, решение экстремальной задачи (9.2) или (9.3) составляет примерно лишь половину от общего объема вычислительной работы, которую необходимо проделать при регрессионном анализе. Действительно, сами оценки, т. е. числа содержат не так уж много информации для исследователя. Необходимо знать ковариационные матрицы оценок или их оценки, доверительные интервалы для неизвестного значения результирующего показателя (отклика), ряд величин, характеризующих адекватность регрессионной модели и т. д. (см. гл. 11). В вычислительном плане крайне удобно, когда упомянутая числовая информация подсчитывается как «побочная» при отыскании самих оценок. Именно алгоритмам, обладающим такими свойствами, отдается предпочтение при создании программ по регрессионному анализу.