11.1.3. Случаи линейной (по предикторным переменным) и полиномиальной регрессии.

Воспользуемся полученными в предыдущем пункте рекомендациями для анализа точности моделей линейной и полиномиальной регрессии. Нас будет интересовать, в частности, конкретизация формул (11.18) и (11.19) в этих случаях.

Парная линейная регрессия. Рассматривается модель вида (11.1), в которой размерность предиктора , а система базисных функций задается соотношениями: так что в конечном счете анализируется зависимость вида или

Тогда

где — арифметические средние значения наблюденных величин предиктора и результирующего показателя у соответственно.

Далее

так что (в соответствии с (11.18) и (11.19)) с вероятностью Р будем иметь выполнение неравенств (при заданном фиксированном значении предиктора ):

где как и прежде, -ная точка распределения Стьюдента с v степенями свободы; — оценка остаточной дисперсии (см. (11.12)), т. е.

а — оценки наименьших квадратов неизвестных коэффициентов (см. (11.9)), т. е.

Из (11.18") и (11.19), в частности, видно, что: а) величина погрешности и в том и в другом случае зависит от того, при каком именно значении предиктора производится оценка, причем эта погрешность (и соответственно ширина доверительного интервала) увеличивается по мере удаления заданного значения от среднего арифметического и наблюденных значений предикторной переменной; б) погрешность оценивания неизвестной функции регрессии пропорциональна величине и, следовательно, неограниченно убывает с ростом объема выборки по которой производится оценивание; в) погрешность оценивания индивидуального не среднего) значения результирующего показателя с помощью вычисленной по методу наименьших квадратов функции регрессии при неограниченном увеличении объема выборки (т. е. при ) в отличие от предыдущей погрешности не убывает до нуля, но стремится, как это и должно быть (в соответствии с допущением (11.2)), к величине -ной точки -нормального распределения, т. е. к величине а (поскольку, как известно [71], -распределение сходится к стандартному нормальному при а следовательно, при , где -квантиль стандартного нормального распределения; а в силу состоятельности .

Множественная линейная регрессия. Обобщим модель (11.4) на случай предикторных переменных Запишем исследуемую модель в терминах центрированных наблюденных переменных, т. е.

Тогда получаем следующую интерпретацию общих обозначений п. 11.1.1 и 11.1.2:

выборочные ковариации переменных и [14, п. 5.6.7]. Соответственно

где — элемент матрицы, обратной к выборочной ковариационной матрице предиктора X.

Таким образом,

Поэтому в соответствии с (11.18) и (11.19) с вероятностью Р можно гарантировать выполнение следующих неравенств при заданном фиксированном векторном значении предикторных переменных:

Предварительный переход к центрированным переменным обусловил то, что правые части (11.18") и (11.19") не учитывают погрешности в оценке неизвестного теоретического среднего . Модификация левых и правых частей (11.18") и (11.19"), соответствующая возвращению к исходной (нецент-рированной) записи модели, заключается в следующем: в левые части неравенств надо прибавить (внутри прямых скобок) величину , а в правые части (под знак радикала) — соответственно единицу и изменив в обоих случаях число степеней свободы у процентной точки -распределения на Нетрудно увидеть, что записанные в таком модифицированном виде неравенства (11.18") и (11.19") дают в качестве своего частного случая при неравенства (11.18") и (11.19).

Полиномиальная регрессия. Рассмотрим случай скалярного (т. е. одномерного, предиктора и пусть искомая функция регрессии принадлежит классу алгебраических полиномов степени , т. е.

Ограничимся для определенности случаем (переход к общему случаю осуществляется очевидным образом без каких-либо затруднений) и представим функцию регрессии в системе базисных функций являющихся ортогональными (на совокупности наблюденных значений предиктора полиномами Чебышева (см. гл. 7, а также [10, с. 131; 77, с. 275]), т. е.

где

Взаимная ортогональность полиномов (на системе наблюдений ) означает, что

что обеспечивает диагональность матрицы . В частности, имеем

Полученные в соответствии с (11.9) мнк-оценки оказываются статистачески взаимно независимыми и имеют дисперсии

Учитывая, что в данном случае

можно (в соответствии с (11.18) и (11.19)) гарантировать с вероятностью Р выполнение неравенств (при заданном значении ):

где

— -ная точка распределения Стьюдента с v степенями свободы (определяется из табл. П.6).