10.2. Локальная параметрическая аппроксимация регрессии в одномерном случае

Основная цель этого параграфа — дать в краткой форме теоретическое объяснение тем фактам, которые были выявлены путем моделирования в примере 10.2. Это целесообразно сделать потому, что локальная параметрическая аппроксимация не нашла еще достаточного отражения в теоретических исследованиях и мало используется в практических работах.

10.2.1. Основная формула для оценки.

Из разложения в ряд Тейлора в — окрестности до членов порядка

и уравнений мнк (см. гл. 7) получаем оценку

(10.11)

где когда и равно нулю в противном случае. Если рассматривать только пары точек , где , то — это просто мнк-оценка постоянного члена в когда пренебрегают вкладом .

На практике за ) обычно берутся функции типа (10.3). Однако в теоретическом исследовании мы выберем

10.2.2. Асимптотическая оценка точности приближения.

Пусть в окрестности непрерывна и имеет первых непрерывных производных причем удовлетворяет условию Липшица порядка , т. е. для некоторого . Предположим далее, что точки распределены независимо друг от друга с плотностью Пусть далее — стандартное отклонение погрешности в точке — непрерывны в окрестности

При сделанных предположениях при росте объема выборки () и имеем, что дисперсия случайной ошибки есть величина порядка а квадрат систематического смещения не превосходит . Уравновешивая обе погрешности, получаем и среднеквадратическое отклонение оценки будет величиной порядка

Заметим, что для гладких функций убывает очень медленно.

10.2.3. Сравнение.

Пусть в некоторой окрестности регрессия линейна, постоянны. Обозначим число точек

61. Пусть далее число наблюдений определяется (10.12), а тогда обе оценки и с некоторого момента несмещены и

(10.13)

Формулы (10.13) и (10.14) асимптотически эквивалентны. Однако члены второго порядка малости в них различны. При где , и члены второго порядка малости в (10.14) асимптотически меньше, чём в (10.13). Если , то даже при линейной функции оценка смещена если только . Как показывает модельный пример 10.2, вклад выборочных флуктуаций х даже при значениях порядка нескольких сотен заметен.

Тем более неравномерное распределение точек X, должно сказываться в многомерном случае, что служит еще одним аргументом в пользу оценок (10.8) по сравнению с оценками (10.2).

10.2.4. Изучение дисперсии оценок.

По рис. 10.1 видно, что при малых значениях . Для того чтобы изучить этот эффект, сделаем дополнительное упрощающее предположение, что лежат на равном расстоянии друг от друга. Предположим далее, что все оценки несмещены для и при фиксированном оценим ряд отношений

Рис. 10.1. Зависимость погрешности локальной параболической аппроксимации от величины b для выборки объема: а) ; б)

Для этого удобно использовать полиномы Чебышева, ортогональные на Обозначим — полином порядка, где — коэффициент перед в разложении оценку Очевидно, Откуда

поскольку оценки независимы. Используя явный вид полиномов Чебышева [77], получаем

или

Из приведенного рассуждения можно сделать вывод, что при непрерывном в окрестности и достаточно малом b переход от не вызывает заметного роста дисперсии оценки, в то время как при переходе к дисперсия оценки увеличивается приблизительно на Таким образом, лучше использовать оценки нечетного порядка и т. д.).

Напомним, что контроль среднеквадратического отклонения, учитывающего и случайную, и систематическую составляющие ошибки, целесообразно проводить с помощью кривой (10.5).