6.3. Математико-статистические методы в задаче параметризации модели регрессии

6.3.1. Компромисс между сложностью регрессионной модели и точностью ее оценивания.

Из общих результатов математической статистики, относящихся к анализу точности оценивания исследуемой модели при ограниченных объемах выборки, следует, что с увеличением сложности модели (например, размерности неизвестного векторного параметра 0, участвующего в ее уравнении) точность оценивания падает. Мы с этим уже сталкивались, например, при анализе точности оценивания частных и множественных коэффициентов корреляции (см. п. 1.2.3, 1.3.3, а также формулы (1.34), (1.34)). Об этом же свидетельствуют и результаты, приведенные в гл. 11. Это означает, в частности, что в ситуациях, когда исследователь располагает лишь ограниченной исходной выборочной информацией, он вынужден искать компромисс между степенью общности привлекаемого класса допустимых решений F и точностью оценивания, которой возможно при этом добиться.

Перед тем как изложить общую схему, в рамках которой можно математически ставить и решать задачу достижения такого компромисса (метод структурной минимизации критерия адекватности ), поясним эту идею на следующем полуэвристическом приеме решения одной частной задачи.

Определение оптимального числа предикторов в модели линейной множественной регрессии. Пусть мы строим линейную множественную регрессию результирующего показателя по предикторам , используя для этого выборку ограниченного объема

причем величины — одного порядка (но ) Очевидно, в данном случае сложность модели будет определяться числом включенных в нее предикторов. Нужно ли для достижения максимальной точности в задаче восстановления неизвестных значений результирующего показателя по значениям предикторов включать в модель все предикторные переменные, а если не все, то сколько и какие именно?

С одной стороны, мы уже знаем (см. (1.30)), что присоединение каждой новой предсказывающей переменной может только увеличить величину множественного коэффициента корреляции R между результирующим показателем и предикторами и, следовательно, уменьшить ошибку в предсказании (см. (1.26)). С другой стороны, нам известны не точные значения теоретических характеристик R, участвующих в (1.26) — (1.30), а лишь их выборочные аналоги — статистические оценки R.

Поэтому естественно было бы добиваться максимизации не а нижней доверительной границы для истинного значения коэффициента детерминации (при заданной доверительной вероятности Р). Если принять приближенное допущение, что меньше точечной оценки на величину, пропорциональную среднеквадратической ошибке (множитель пропорциональности , конечно, зависит от заданной величины доверительной вероятности Р), и воспользоваться приближенной формулой (1.34), то получаем следующую формулу для определения

Опираясь на (6.8), можно предложить следующую процедуру определения оптимального состава и числа предикторов модели множественной линейной регрессии.

Последовательно для каждого с использованием формул (1.27), (1.28), (1.35) рассчитывается величина

а затем по формуле (6.8) — величина . Тем самым для каждой заданной размерности k модели уже выявлен оптимальный состав предикторов: это тот набор на котором достигается максимум правой части (6.9).

Рис. 6.11. Зависимость нижней доверительной границы коэффициента детерминации от числа предикторов (пунктирная кривая)

На рис. 6.11 представлены схематические графики величин как функций от k.

В качестве оптимального числа предикторов, включаемых в модель, естественно взять то значение для которого величина максимальна.

Метод структурной минимизации критерия адекватности. Опишем теперь, следуя [34], общую схему, в рамках которой решается задача выбора оптимальной сложности параметрического семейства используемого в качестве класса допустимых решений F, в зависимости от объема и геометрической структуры исходных данных (6.7). Общая логика, на которой построена эта схема, та же, что и логика решения предыдущей задачи: и та, и другая опираются на умение дать гарантированную оценку оптимизируемой теоретической характеристики (в общей схеме — оценку сверху для теоретического критерия адекватности по значению соответствующей выборочной характеристики (в общей схеме — по

Однако в условиях полного отсутствия какой бы то ни было априорной информации о характере совместного распределения исследуемых переменных никаких надежных заключений о величине по значению сделать нельзя. Минимальная информация такого рода, используемая в описываемом методе, состоит в том, чтобы для некоторого знать величину определяющую неравенство

Ниже в целях упрощения формулировок будем требовать выполнения неравенства для случая

Априорная информация, заданная в терминах неравенства (6.10), является более практически доступной, чем обычно используемая связанная с типом распределения регрессионных остатков. Так, если параметрическое семейство случайных величин

таково, что каждая случайная величина распределена по нормальному закону (со своими параметрами, зависящими от ), то если семейство (6.11) подчинено закону Лапласа [14, п. 6.1.8], то если же подчинено равномерному закону распределения, то Неравенство (6.10), по существу, характеризует особенности поведения «хвостов» в случайной выборке наблюдений (6.7).

В ситуации, когда соблюдается условие (6.10), метод структурной минимизации критерия адекватности может быть построен на основе емкостных характеристик класса функций в котором ведется восстановление регрессии. Ниже мы используем одну из возможных таких характеристик — емкость (или сложность) класса функций

Для определения понятия «емкость класса внедем множество индикаторных функций

на элементах выборки (6.7).

Индикаторные функции определяются параметрами , где — параметры, определяющие , и — некоторое число из интервала . Каждая индикаторная функция делит выборку (6.7) на две подвыборки: подмножество пар, на которых индикаторная функция принимает значение +1, и подмножество пар, на которых индикаторная функция принимает значение — 1. Обозначим количество различных разделений множества (6.7) на два подмножества с помощью индикаторных функций из класса . Очевидно, что

Определение. Назовем функцию

функцией роста класса на выборках вида (6.7). Для функции роста справедливо следующее утверждение.

Утверждение. Определенная соотношением (6.12) функция роста либо тождественно равна либо, если для некоторого это не так, т. е. то для справедлива оценка

Это утверждение позволяет оценивать функцию роста любого класса функций. Для получения соответствующей оценки достаточно указать такие пар, которые не могут быть разеделены всеми способами с помощью индикаторных функций .

В частности, для функций линейных по параметрам 0, т. е.

где — некоторая заданная система известных функций, имеет место оценка

Итак, функция роста оценивается либо

Определение. Будем говорить, что класс функций имеет бесконечную емкость, если соответствующая функция роста тождественно равна и имеет конечную емкость h, если функция роста оценивается сверху величиной

Справедливо утверждение: с вероятностью одновременно для всех функций имеет место неравенство

где

Так как неравенство (6.13) с вероятностью выполняется одновременно для всех функций, то оно справедливо и для функции, минимизирующей эмпирический критерий адекватности. Оценка (6.13), по существу, зависит от относительного (по отношению h) объема выборки .

Таким образом, в условиях для класса F функций ограниченной емкости по величине эмпирического критерия адекватности удается оценить величину теоретического критерия адекватности .

Теперь на основе полученной оценки (6.13) сконструируем метод структурной минимизации критерия адекватности.

Пусть на исходном классе задана структура

т. е. задано минимальное подмножество элементов из F, затем подмножество элементов содержащее и т. д. и, наконец, подмножество содержащее все элементы класса

Итак, подмножества таковы, что с ростом номера емкость их растет:

На каждом из подмножеств найдем функцию минимизирующую выборочный критерий адекватности. Вычислим для функции величину выборочного критерия адекватности . Очевидно, что с ростом номера личина не возрастает.

Но при фиксированных оценка (6.13) величины теоретического критерия адекватности для функции, минимизирующей выборочный критерий адекватности на элементах структуры достигает своего наименьшего значения не обязательно на подмножестве Иначе говоря, для фиксированного объема выборки наилучшее приближение к функции регрессии достигается на некотором элементе структуры F Этот метод назван в [34] методом структурной минимизации риска (в нашей терминологии — теоретического критерия адекватности). Для ограниченного объема исходных данных он позволяет установить компромисс между «сложностью» выбираемой модели регрессии (номером элемента структуры (6.14) — чем больше номер, тем сложнее модель и качеством приближения к выборочным данным (величиной при котором достигается наименьшая гарантированная оценка теоретического критерия адекватйости. Можно сказать, что дальнейшее усложнение модели приводит к приближению к имеющемуся эмпирическому материалу, а не к искомой зависимости.

Метод структурной минимизации риска может быть использован для восстановления регрессии в различных классах функций. Применим его для построения полиномиальной регрессии.

Пусть структура такова, что элемент F, содержит полиномы степени . В этом случае емкость класса F; равна . И проблема заключается в том, чтобы минимизировать выборочный критерий адекватности в классе полиномов такой степени чтобы достичь минимума оценки (6.13).

На рис. 6.12 показан пример восстановления полинома пятой степени на отрезке [-2,2]. Восстановление проводилось по измерениям функции в 20 случайно взятых точках (крестики). Видно, что кривая 2 лучше приближает истинную регрессию, чем кривая

На рис. 6.13 приведен пример восстановления неполиномиальной истинной регрессии в классе полиномов по 20 измерениям (крестики).

При решении этих примеров минимизировался упрощенный вариант правой части (6.13), а именно функционал

где было принято