Главная > Статистический анализ данных с пропусками
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

1.6. МНОГОМЕРНЫЙ СЛУЧАЙ С ПРОПУСКАМИ В ОДНОЙ ПЕРЕМЕННОЙ

Предположим теперь, что к переменной У из раздела 1.5 мы добавили измененную X, значения которой наблюдаются без пропусков, т. е. зарегистрированную для всех объектов выборки. Тогда мы получим монотонную структуру данных (рис. 1.3). К этой структуре приводит множество ситуаций. В выборочных обследованиях переменная У может быть разделом вопросника, на который не всегда дают ответ (например, доход), признаком со значениями для всех объектов выборки (например, переменная плана, такая, как место жительства, или всегда присутствующий признак — возраст). В эксперименте X может быть случайной, регистрируемой без пропусков, или детерминированной величиной, управляемой экспериментатором, например индикатор включения в выборку в рандомизированном плане. Данные по У могут отсутствовать вследствие неуправляемых событий в процессе сбора таких данных, как отказ от ответа, недопустимые значения, удаленные из выборки, ошибки при регистрации данных. С другой стороны, их отсутствие может быть связано с планом, как в калибровочном эксперименте, где X — дешевое измерение, полученное для большой выборки, дорогостоящее измерение, получаемое для подвыборки.

Рис. 1.3. Монотонная структура. X присутствует больше могут быть как непрерывными, так и категориальными признаками. Ситуация, когда двумерная нормальная случайная величина, подробно изучена и обсуждается в гл. 6 в контексте монотонных структур неполных данных. Если X — категориальный,

непрерывный признак, то вид данных соответствует однофакторному дисперсионному анализу с пропусками некоторых значений внутри групп, определяемых значением Этот случай подробно обсуждается в гл. 2. Если категориальные, то объекты без пропусков можно расположить в двумерной таблице сопряженности, ячейки в которой определяются значениями обеих переменных. Объекты, у которых присутствует только X, дают дополнительные маргинальные по частоты. Методы анализа частично классифицированных таблиц сопряженности такого типа изложены в гл. 9. Механизм образования пропусков для данных этой структуры полезно расклассифицировать в соответствии с зависимостью вероятности пропуска значения 1) от возможно, от X, 2) от X, но не от ни от X, ни от Рубин [см. Rubin (1976)] предлагает следующую терминологию, отчасти использованную в разделе 1.5. Если верен случай 3, то мы говорим, что отсутствующие данные отсутствуют случайно (ОС) и присутствующие данные присутствуют случайно (ПС) или в целом данные отсутствуют полностью случайно (ОПС). В этом случае наблюдаемые значения образуют случайную подвыборку, как на рис. 1.1а. В случае 2 мы говорим, что отсутствующие данные отсутствуют случайно (ОС). Наблюдаемые значения не обязательно являются случайной подвыборкой извлеченных значений, но образуют случайную подвыборку в каждой подгруппе, определяемой значением В случае 1 данные ни ПС, ни ОС. В случаях 2 и 3 в выводах, основанных на функции правдоподобия, механизм пропусков можно игнорировать. В случае 3 этот механизм игнорируем для выводов, основанных как на выборочных статистиках, так и на функции правдоподобия. В случае 1 механизм неигнорируем. Эту классификацию можно пояснить примером.

Пример 1.5. Две непрерывные переменные. Пусть X означает возраст, размер дохода. Если вероятность того, что доход регистрируется, одинакова для всех независимо от возраста и дохода, то данные ОС и ПС (т. е. ). Если эта вероятность меняется в зависимости от возраста, но не зависит от размера дохода респондента внутри возрастной группы, то данные ОС, но не ПС (т. е. не Если вероятность пропуска зависит от дохода внутри возрастной группы, то данные ни ОС, ни ПС. Этот последний неигнорируемый случай труднее всего поддается анализу, что очень жаль, поскольку в приведенном примере наиболее вероятна именно такая ситуация.

Предположения о механизме пропусков зависят в некоторой степени от цели анализа. Если нас интересует маргинальное распределение X, то данные об У и механизм пропусков обычно нам безразличны («обычно», поскольку можно сконструировать примеры, для которых это неверно, хотя они имеют скорее теоретическое, чем практическое значение). Если же мы хотим исследовать условное по X распределение величины Y, например при изучении зависимости дохода от возраста, то анализ по комплектным объектам может быть удовлетворительным, если данные ОС. С другой стороны, если мы изучаем маргинальное распределение или общие характеристики, например среднее Y, то анализ, основанный на комплектных объектах, будет в общем случае смещенным, если не выполняется предположение ОПС. Если присутствуют для всех объектов, значения X при оценивании среднего обычно бесполезны, однако для структуры, представленной на рис. 1.3, значения X нужны как для повышения эффективности оценки среднего Y, так и для устранения смещения, если неверно ОПС. Это замечание очень важно и будет обсуждаться в других главах.

Оценивание совместного распределения по данным с монотонной структурой (см. рис. 1.3) в предположении ОС часто можно упростить факторизацией распределения, которая подробно обсуждается в гл. 6. Пусть плотность совместного распределения Эту плотность можно факторизовать в виде

где - маргинальная плотность условная по X плотность Здесь и далее функции можно различать по аргументам. Выводы о маргинальном распределении возраста могут быть основаны на наблюденных значениях возраста. Выводы об условном по возрасту распределении дохода могут быть основаны на комплектных объектах. Результаты этого анализа можно объединить, чтобы оценить совместное распределение возраста и дохода или распределение возраста, условное по доходу. Оценивание распределения дохода, условного по возрасту, часто является разновидностью регрессионного анализа, а техника факторизации связана с идеей заполнения пропусков по доходу при использовании регрессии дохода на возраст и при вычислении прогноза дохода. Таким образом, анализ данных, приведенных на рис. 1.3, можно рассматривать как классическую задачу предсказания значения по регрессии.

Пример переменных с пропусками в одной переменной. Во многих задачах полностью присутствуют значения переменных для всех объектов. Такие данные можно представить рис. 1.3, где X обозначает матрицу В задаче, в которой

предполагался анализ данных с пропусками и которая впервые систематически исследовалась в статистической литературе, данные имели именно такую структуру. Необходимо было решить задачу при отсутствии данных в планируемых экспериментах. В контексте сельскохозяйственных исследований эту задачу часто называют «задачей о пропуске участков». В ней нужно установить связь между зависимой переменной (урожаем) и рядом факторов (видом культуры, типом удобрения, температурой), наблюдений выбираются так, чтобы матрица плана была легко обращаема, как при полной или частичной повторной реализации факторных планов. Задача с пропусками возникает тогда, когда по завершении эксперимента значения зависимой переменной для объектов отсутствуют из-за невозможности их получить (на некоторых участках семена не дали всходов) или вследствие утраты зарегистрированных значений. При обычном анализе неполных данных используют предположение ОС, т. е. предполагают, что вероятность пропуска у, может меняться в зависимости от переменных плана, но при данном значении строки X, вероятность отсутствия не зависит от В практических приложениях следует проверять допустимость такого предположения. Анализ строится так, чтобы использовать «почти сбалансированность» получаемого множества данных для упрощения вычислений. Например, одним из способов является подстановка оценок пропущенных значений вместо пропусков и последующий анализ в предположении, что данные полные. Здесь требуют внимания такие вопросы, как выбор значений для подстановки и модификации методов с целью учета подстановок. Эта проблема обсуждается в гл. 2.

Задачи с пропусками признаков в выборочных обследованиях часто имеют такую же структуру, как на рис. соответствует признаку с пропусками, X — «фоновым» признакам, наблюдаемым полностью. Главным является оценивание маргинального распределения Y, в отличие от задачи дисперсионного анализа, где исследуется условное по X распределение Тем не менее эти две задачи до некоторой степени сходны.

Все описанные в литературе методы выборочных обследований при наличии пропусков требуют предположения, что данные ОС, хотя для многих практических задач это крайне сомнительно. В дополнение к обсуждению в гл. 4 методов, основанных на рандомизации, мы осветим в гл. 12 некоторые новые работы по ослаблению предположений ОС и опишем методы с применением функции правдоподобия.

1
Оглавление
email@scask.ru