5.6. ОРТОГОНАЛЬНЫЕ ПОЛИНОМЫ

Ортогональные полиномы применяются для построения полиномиальных моделей любого порядка от одной переменной. Идея такова. Пусть имеется наблюдений где X — предиктор,

a Y - отклик, и мы хотим подобрать модель

Как правило, столбцы, образующие Х-матрицу, не ортогональны. Если мы захотим в дальнейшем добавить в модель н овый член то в общем случае произойдут изменения оценок всех остальных коэффициентов. Однако мы можем построить полиномы вида

обладающие тем свойством, благодаря которому их называют ортогональными полиномами, т. е.

для всех Теперь можно переписать модель так:

В этом случае получим

так что

где а все недиагональные элементы обращаются в нуль в соответствии с уравнением (5.6.2). Так как обратная матрица также диагональна и получается обращением каждого

элемента отдельно (см. уравнение (2.1.13)), то метод наименьших квадратов дает в качестве оценок коэффициентов а, - величины:

с очевидными обозначениями. Так как в общей модели регрессии, то дисперсия а,- есть

где обычно оценивается на основе таблицы дисперсионного анализа. Для получения данных такой таблицы мы вычислим сумму квадратов, обусловленную

и тогда сможем получить следующую таблицу дисперсионного анализа:

ANOVA

Если модель корректна, то есть оценка для Обычно, когда средний квадрат незначимо больше мы объединяем суммы квадратов с остатком и получаем оценку величины основанную на большем числе степеней свободы. Заметим, что если ожидается добавление в уравнение (5.6.3) нового члена то в новых перерасчетах нет необходимости вследствие ортогональности полиномов. Так можно легко подбирать полиномы все более и более высокого порядка, прекращая этот процесс, когда подобранное уравнение станет удовлетворительным.

Можно построить и реализовать рассмотренную выше процедуру для любых значений Однако, когда Л,- меняется с неравным шагом, полиномы приходится строить специально. (См., например, работы: Wishart J., Metakides Т. Orthogonal polynomial fitting.- Biometrika, 1953, 40, p. 361-369 и Rоbsоn D. S. A simple method for constructing orthogonal polynomials when the independent variable is unequally spaced.-Biometrics, 1959, 15, p. 187- 291.) Если меняется с равным шагом, можно воспользоваться таблицами. Фактические численные значения так же как и общие функциональные формы для при даны в таблицах Е. Пирсона и Хартли (см.: Pearson Е. S., Hartley Н. О. Biometrika Tables for Statisticians. Cambridge University Press, 1958, 1). Это значит, что мы обеспечены при элементами матриц Для аналогичныеданные приводятся в статистических таблицах Р. Фишера и Ф. Йейтса для биологических, сельскохозяйственных и медицинских исследований (см.: Fisher R. A., Yates F. Statistical Tables for Biological, Agricultural and Medical Research.- New York: Hafner Publishing Co., 1964 (6-е изд.)). Когда нужны более обширные таблицы, например книга Де Лури, включающая значения и интегралы ортогональных полиномов до (см.: DеLигу D. В. Values and Integrals of the Orthogonal Polynomials up to n = 26, University of Toronto Press, 1960). Еще см. работу Д. Уилки о полном множестве приведенных коэффициентов для ортогональных полиномов до (Wi1kiе D. Complete set of leading coefficients, X (r, ti), for orthogonal polynomials up to n = 26.- Technometrics, 1965, 7, p. 644-648). Краткая таблица ортогональных полиномов для равномерно расположенных данных при не больше 12 приведена на с. 333 - 334 .

Хотя ортогональные полиномы рекомендуют, как правило, только тогда, когда применяются карманные компьютеры, Дж. Брайт и Дж. Доукинз в работе о некоторых аспектах подбора кривой с помощью ортогональных полиномов (см.: Bright J. W., Dawkins G. S. Some aspects of curve fitting using orthogonal polynomials.- Industrial and Engineering Chemistry Fundamentals, February, 1965, 4, p. 93-97) пришли к заключению, что даже если есть вычислительная машина, особенно в случае полиномов высокого порядка, ортогональные полиномы имеют смысл. Их использование обеспечивает большую машинную точность и сокращает время счета. Мы проиллюстрируем применение ортогональных полиномов на примере.

Пример. Фирма «Жиллетт» (Gillette) опубликовала чистый доход на акцию по годам за 1957-1964 гг.:

Требуется подобрать полином подходящего порядка, который удовлетворительно аппроксимирует эти данные.

Решение. Мы игнорируем в годовых данных все характеристики, кроме того, что они меняются с равным шагом. Из таблицы ортогональных полиномов мы найдем значения соответствующие наблюдениям, как показано в табл. 5.18.

Таблица 5.18. Расчетная таблица для примера

Для упрощения вычислений будем использовать вместо Заметим, что Мы рассматриваем модель

На основании уравнения (5.6.6) получим

Подобранная модель имеет вид

где уже найдены, а находятся из таблиц (мы найдем их после преобразования уравнения). Для вычисления элементов таблицы дисперсионного анализа сначала найдем следующие значения:

Используя уравнение (5.6.8), получим таблицу дисперсионного анализа:

ANOVA

(Примечание. Если порядок подбираемого полинома максимален и равен то модель предсказывает точно, без остатков. Здесь же и таким образом остаток фактически равен

Если оценка была получена независимо, то можно сравнить с ней средние квадраты. Проделав это, мы увидим, что члены третьей и более низких степеней вносят в данные наибольшую вариацию. Таким образом, можно принять в качестве модели выражение

и перестроить таблицу дисперсионного анализа:

ANOVA

Чтобы получить уравнение относительно исходных переменных, мы должны прежде всего выразить функции через -переменные. Из таблицы ортогональных полиномов (см., например, Biometrika Tables, p. 212, или информацию, приводимую ниже в этом параграфе) находим

Между имеется следующее соответствие:

Ясно, что требуемое кодирование задается формулой

Итоговый полином таков:

Его можно преобразовать в кубический полином от но приведенная выше форма удобнее для получения предсказанных значений и остатков. Читателю рекомендуется нанести данные на график, вычислить предсказанные значения, а также исследовать остатки, как описано в гл. 3.

Ортогональные полиномы для

Вот формулы ортогональных полиномов до шестого порядка при любых значениях заданных с равным шагом:

(Если то мы действуем точно так же, только полагая, что Соответствующие значения К приводятся под каждым столбцом. Они выбраны так, чтобы гарантировать в таблицах только целые значения. Приведенные выше значения Я представляют собой суммы квадратов элементов, образующих соответствующий столбец, т. е. то, что обозначено в уравнении (5.6.5). Отметим, что хотя сами по себе и не фигурируют в таблице, всегда справедливо условие где равна 1 для нечетных и 2 — для четных, так что если мы захотим, то всегда можем считать X как отношение Все столбцы для четных симметричны, а для нечетных — антисимметричны.

(В работе Б. Купера об использовании ортогональных полиномов

(см. скан)

при равных значениях х-ов (см.: Cooper В. Е. The use of orthogonal polynomials with equal л: values.- Applied Statistics, 1971, 20, p. 209-213) приведен алгоритм который реализует на языке Фортран генерирование ортогональных полиномов.)

Таблица коэффициентов ортогональных полиномов