Глава 10. НЕПАРАМЕТРИЧЕСКАЯ, ЛОКАЛЬНО-ПАРАМЕТРИЧЕСКАЯ И КУСОЧНАЯ АППРОКСИМАЦИЯ РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ

На практике далеко не всегда исходя из профессиональных соображений удается найти аналитический вид регрессионной зависимости. Использование же для ее описания одного из стандартных классов функций может привести к заметной систематической ошибке. Для уменьшения этой опасности прибегают к методам локального (при заданном значении регрессора) оценивания регрессии (§ 10.1-10.2) или же разбивают область возможных значений регрессора на несколько частей и для каждой из них строят свое аналитическое описание регрессионной зависимости (§ 10.3).

Построение простейших непараметрических оценок рассматривается в п. 10.1.1. Их слабое место: недостаточно эффективное использование гладкости регрессии и особенностей геометрического расположения выборочных значений регрессора. Возможны два пути борьбы с этим недостатком: 1) усложнение весовой функции в (10.2) и 2) локальное использование обычной параметрической регрессии для оценки коэффициентов при первых членах разложения регрессионной кривой (поверхности) в ряд Тейлора в окрестности изучаемой точки.

В этой главе принят второй путь как более наглядный и традиционный для статистики.

10.1. Непараметрическое оценивание регрессии

10.1.1. Роль и место непараметрических методов.

Непараметрический подход к оцениванию позволяет ослабить два основных требования классической постановки регрессионной задачи. Первое предположение о том, что как функция X представима в виде , где — известная функция своих аргументов, а В — вектор неизвестных параметров, оцениваемый по выборочным данным, — заменяется на более слабое предположение, что — непрерывная и гладкая функциях. Второе — требование постоянства дисперсии случайной погрешности — заменяется на предположение непрерывности .

В простейшей непараметрической оценке выбирается некоторая непустая окрестность точки и, предполагая, что в этой окрестности приблизительно постоянна, полагаем

где суммирование в числителе и знаменателе проводится по всем выборочным точкам . Формуле (10.1) можно придать несколько другой вид, удобный для дальнейших обобщений. Введем весовую функцию если и равную нулю в противном случае. Тогда (10.1) перепишется в виде

Классическая непараметрическая оценга регрессии получается из (10.2) путем предположения, что

где — известная функция неотрицательного аргумента, стремящаяся к нулю при и ; b — параметр масштаба, задающий размер окрестности. Обычно полагают

Поскольку в непараметрических оценках используется не вся выборка, а только ее часть — совокупность пар входящими в окрестность где приближенно верны классические предположения, то в случае, когда 1) классические предположения верны для всей области изменения X и 2) параметрическое представление регрессионной зависимости известно исследователю, непараметрические оценки всегда менее эффективны по сравнению с классическими. Однако они имеют меньшее смещение, когда эти предположения нарушаются. В реальных задачах, выбирая метод оценивания регрессии, следует стремиться сбалансировать обе погрешности: случайную, как правило, уменьшающуюся при расширении объема используемой выборки, и систематическую, растущую при этом.

10.1.2. Примеры.

Прежде чем переходить к последовательному изложению непараметрических оценок, приведем два примера их использования, заимствованных из опубликованных работ.

Пример 10.1 [49]. Для анализа производительности труда изучалась зависимость у — выработки на одного рабочего в строительно-монтажном тресте от — объема (млн. руб.) строительно-монтажных работ (СМР); — рентабельности в процентах к сметной стоимости СМР; — объема продукции подсобных предприятий в процентах к сметной стоимости СМР; — ритмичности СМР в течение года по кварталам — фактической стоимости потребленных материалов в процентах к общей стоимости СМР; — фондоемкости; — текучести кадров к среднемесячному числу рабочих. За единицу наблюдения был взят строительно-монтажный трест. Выборка объема

После проведения классического регрессионного анализа с отсевом незначимых факторов была получена модель

Эта модель легко интерпретировалась с точки зрения экономического содержания. Действительно, являются ведущими аргументами, увеличение которых положительно сказывается на выработке, а — это производство продукции внутри треста, которое в силу малой мощности предприятий не может быть рентабельным, но без него невозможно строительство. Погрешность аппроксимации в терминах — среднего абсолютного относительного отклонения и — стандартного отклонения составила для (10.4)

Оценка той же регрессионной зависимости с помощью непараметрической процедуры (10.2) дала заметно лучшее приближение: енецар . Правда, интерпретация непараметрической модели сложнее. Работа не оканчивается получением оценок значений регрессии в заданных точках, а требуется еще установить, как в среднем меняется регрессионная зависимость при изменении аргументов. Часто атому не уделяется должного внимания. Пример 10.2 [22, 88]. Рассматривалась модельная одномерная задача, где — случайная величина, равномерно распределенная на отрезке . В качестве меры погрешности метода аппроксимации бралось

На рис. 10.1 показаны значения , соответствующие непараметрическому оцениванию с помощью метода локальной параболической (порядка i) аппроксимации (§ 10.2) с весовой функцией Параметрическое оценивание с неадекватно предположенной моделью в обоих случаях дало значительно большую погрешность

По рисунку видно, что при использовании неадекватной параметрической модели погрешность наибольшая. Локальная параболическая аппроксимация с использованием полинома второй степени лучше, чем традиционно применяемая аппроксимация полиномом нулевой степени. Первая не только дает наименьшую погрешность, но и значительно устойчивее к выбору величины b.

10.1.3. Выбор параметра масштаба b.

Это наиболее ответственный момент при использовании непараметрических оценок типа (10.2). Здесь возможны два подхода: 1) выбор единого значения b для всей области изменения X (так обычно поступают на практике) и 2) локальный выбор b в зависимости от того, насколько близко к искомой точке расположены точки выборки.

В первом случае целесообразно построить как функцию b кривую

задающую асимптотически (при ) несмещенную оценку величины среднеквадратической погрешности непараметрической аппроксимации.

Подходящее значение находится из условия, что для всех

Локальный выбор b целесообразен, когда расположены в области интересующих нас значений очень неравномерно. В этом случае можно, например, потребовать, чтобы b — величина b в точке — выбиралось из условия

где — некоторое наперед заданное число. Для нахождения оптимального значения можно воспользоваться описанной выше процедурой, но с заменой в (10.5) в левой части на , а в правой под знаком второй суммы b — на , где определяется (10.6). Так же как b, гаопт находится из условия минимизации .

10.1.4. Более эффективное использование гладкости.

Если регрессионная поверхность достаточно гладкая и в окрестности может приближенно считаться линейной, т. е.

где — неизвестный вектор, зависящий только от то для оценки вместо (10.2) можно воспользоваться оценкой

где

для . Для обоснования (10.8) заметим, что предложенная точечная оценка есть обычная мнк-оценка постоянного члена в случае линейной поверхности регрессии, когда в (10.7) отброшены члены, обозначенные . В примере 10.2 мы видели, что эта оценка (соответственно ) может быть значительно лучше оценки (10.2) (соответственно ). Она специально рассчитана на случай, когда не заполняют равномерно пространство возможных значений X.

Использование оценки (10.8) вместо (10.2) открывает возможность содержательной интерпретации регрессионной зависимости, на необходимость чего было обращено внимание в примере 10.1.

Для этого достаточно наряду с оценкой построить — оценку вектора в (10.7)

Сравнение 0 (X) для разных значений X дает возможность оценить, как, насколько меняется влияние изучаемых факторов на регрессию в разных областях пространства возможных значений X.

При использовании формул (10.8), (10.9) выбор величины b можно производить так же, как указано в предыдущем пункте.