Главная > Прикладной регрессионный анализ, книга 2
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

6.4. ШАГОВЫЙ РЕГРЕССИОННЫЙ МЕТОД

Метод исключения начинается с наиболее полного уравнения, включающего все переменные, и состоит в последовательном уменьшении числа переменных до тех пор, пока не принимается решение об использовании уравнения с оставшимися членами. Шаговый метод представляет собой попытку прийти к тем же результатам, действуя в обратном направлении, т. е. включая переменные по очереди в уравнение до тех пор, пока уравнение не станет удовлетворительным. Порядок включения определяется с помощью частного коэффициента корреляции как меры важности переменных, еще не включенных в

уравнение. Основная процедура состоит в следующем. Прежде всего выбирается величина наиболее сильно коррелированная с Y (предположим, что это и находится линейное, первого порядка регрессионное уравнение Затем мы проверяем, значима ли эта переменная. Если это не так, то мы должны согласиться с выводом, что наилучшая модель выражается уравнением В противном случае мы должны найти вторую предикторную переменную которую следует включить в модель. Мы определяем частные коэффициенты корреляции для всех предикторов, не включенных в уравнение на этом шаге, а именно для с учетом поправки на В математическом отношении это эквивалентно нахождению корреляции между (1) остатками от регрессии и (2) остатками от каждой из регрессий (которые мы фактически не определяли). Теперь выбирается величина (предположим, что это которая имеет наибольшее значение частного коэффициента корреляции с и находится второе регрессионное уравнение Полное уравнение проверяется на значимость. Отмечается улучшение величины и исследуются частные F-критерии для обеих переменных, содержащихся в уравнении, а не только для той, которая только что была введена в уравнение. Наименьшая величина из этих двух частных F-критериев сравнивается затем с подходящей процентной точкой F-распределения. Соответствующая предикторная переменная сохраняется в уравнении или исключается из него в зависимости от результатов проверки. Такая проверка «наименее полезного предиктора в уравнении на данном этапе» проводится на каждом шаге этого метода. Может оказаться, что предиктор, который на предыдущем шаге был наилучшим кандидатом для включения в уравнение, на более позднем шаге оказывается ненужным. Это может быть вызвано теми связями, которые существуют между этой и другими переменными, содержащимися теперь в уравнении. Чтобы проверить это, на каждом шаге для каждой предикторной переменной, содержащейся в уравнении, вычисляется частный F-критерий и находится наименьший из них (он может быть связан с любой предикторной переменной, включенной в модель только что или ранее),

который затем сравнивается с заранее выбранной процентной точкой соответствующего -распределения. Это позволяет судить о вкладе наименее ценной переменной в регрессию на данном шаге в предположении, что она только что была введена в модель безотносительно к тому, как это было на самом деле. Если проверяемая переменная показывает незначимый вклад в регрессию, она исключается из уравнения. После этого регрессионное уравнение пересчитывается с учетом всех оставшихся в нем предикторных переменных. Наилучшие переменные из тех, которые не вошли на данном шаге в модель (т. е. те, для которых коэффициент частной корреляции с при наличии предикторов в уравнении получился наибольшим), затем проверяются, чтобы убедиться, удовлетворяют ли они частному -критерию для включения. Если удовлетворяют, их включают в уравнение и снова возвращаются к проверке всех частных для переменных. Если же они не выдерживают этой проверки, переходят к следующей операции исключения. В конечном счете (если только уровень значимости а не выбран плохо, что приводит к зацикливанию) процесс прекращается, если никакие из переменных, содержащихся в текущем уравнении, не удается исключить из него, а ближайший наилучший предиктор-претендент не в состоянии занять место в уравнении. Когда переменная включается в регрессию, ее влияние на квадрат множественного коэффициента корреляции, обычно указывается в машинной распечатке.

Мы снова воспользуемся данными Хальда, чтобы проиллюстрировать, как работает шаговая процедура. (См. распечатку, где указано, что ) Для обоих критериев включения и исключения принят уровень значимости

1. Вычислим коэффициенты корреляции между каждой предикторной переменной и откликом. Выберем в качестве первой переменной для включения в регрессию ту, которая коррелирована с откликом наиболее сильно. Исследование корреляционной матрицы в приложении Б показывает, что наиболее сильно коррелирована с откликом или Следовательно, это первая переменная, которая должна быть включена в регрессионное уравнение.

2. Построим регрессию в зависимости от и получим МНК-уравнение, приведенное на с. 288. Полный -критерий показывает, что регрессия значима. Таким образом, переменная сохраняется в уравнении.

3. Вычислим частные коэффициенты корреляции между всеми переменными, не входящими в уравнение, и откликом. Их квадраты указаны внизу на с. 288. Выберем в качестве следующей переменной

для включения в регрессионное уравнение переменную с наибольшим значением частного коэффициента корреляции. Это переменная

4. Получим МНК-уравнение содержащее как так и см. с. 291. Этому уравнению соответствует и оно явно значимо, поскольку величина полного -критерия равна . А это превосходит То, что новая переменная дает значимое снижение остаточной суммы квадратов, показывает ее частный -критерий, который равен 108,22, что превосходит величину Таким образом, остается в уравнении. Мы проверим также вклад в предположении, что величина будто бы была включена в модель первой, а переменная второй. Поскольку величина частного -критерия равна 159,295 (см. с. 291), что значительно превосходит переменная сохраняется в уравнении. (На практике в большинстве программ не проверяются обе переменные, как это делается здесь, а выбирают переменную с наименьшим значением частного -критерия и проверяют ее. Принимается решение об исключении или сохранении соответствующей предикторной переменной. При исключении уравнение пересчитывается, а при сохранении ищется следующий кандидат.)

5. Согласно шаговому методу теперь для включения в уравнение выбирается следующая переменная, которая имеет наиболее высокий частный коэффициент корреляции с откликом (при условии, что переменные уже содержатся в регрессии). Как видно, это переменная (Квадрат частного коэффициента корреляции предиктора с откликом равен 0,358 — см. с. 291.)

6. Новое уравнение приведено на с. 298. Квадрат множественного коэффициента корреляции, выраженный в увеличился с 97,2 до 98,2 %. Затем на этом шаге исследовались частные -критерии для переменных Наименьшее значение (см. с. 298) соответствует И поскольку эта величина меньше, чем переменная отвергается. В уравнении, которое пересчитывается , сохраняются переменные как значимые.

7. Единственная остающаяся переменная, которая может рассматриваться на этом этапе, есть Поскольку эта переменная немедленно отвергается, шаговая регрессионная процедура заканчивается, и как наилучшее выбирается уравнение показанное на с. 289, а именно

Мнение. Мы считаем этот метод одним из лучших среди обсуждавшихся выше и рекомендуем его применять. Он наиболее экономичен при обработке данных на ЭВМ. К тому же он позволяет избежать манипуляций с большим числом предикторов, чем это необходимо, хотя уравнение продолжает улучшаться с каждым шагом. Однако шаговый метод может легко стать обузой для

профессионального статистика. Как и во всех других обсуждавшихся методах, здесь требуются все же разумные суждения при первоначальном выборе переменных и при критическом анализе модели путем исследования остатков. Можно полагать, что использование этого метода для автоматического выбора наилучшего уравнения с помощью ЭВМ будет слишком затруднительным. Обсуждение этого метода дано в статье: Efroymson М. A. Multiple regression analysis, в книге: Mathematical Methods for Digital Computers/Ralston A. and Wilf H. S., ed.- New York: J. Wiley, 1962.

1
Оглавление
email@scask.ru