Пред.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше
Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике
1.6. МНОГОМЕРНЫЙ СЛУЧАЙ С ПРОПУСКАМИ В ОДНОЙ ПЕРЕМЕННОЙ
Предположим теперь, что к переменной У из раздела 1.5 мы добавили измененную X, значения которой наблюдаются без пропусков, т. е. зарегистрированную для всех объектов выборки. Тогда мы получим монотонную структуру данных (рис. 1.3). К этой структуре приводит множество ситуаций. В выборочных обследованиях переменная У может быть разделом вопросника, на который не всегда дают ответ (например, доход), признаком со значениями для всех объектов выборки (например, переменная плана, такая, как место жительства, или всегда присутствующий признак — возраст). В эксперименте X может быть случайной, регистрируемой без пропусков, или детерминированной величиной, управляемой экспериментатором, например индикатор включения в выборку в рандомизированном плане. Данные по У могут отсутствовать вследствие неуправляемых событий в процессе сбора таких данных, как отказ от ответа, недопустимые значения, удаленные из выборки, ошибки при регистрации данных. С другой стороны, их отсутствие может быть связано с планом, как в калибровочном эксперименте, где X — дешевое измерение, полученное для большой выборки, дорогостоящее измерение, получаемое для подвыборки.
Рис. 1.3. Монотонная структура. X присутствует больше могут быть как непрерывными, так и категориальными признаками. Ситуация, когда двумерная нормальная случайная величина, подробно изучена и обсуждается в гл. 6 в контексте монотонных структур неполных данных. Если X — категориальный,
непрерывный признак, то вид данных соответствует однофакторному дисперсионному анализу с пропусками некоторых значений внутри групп, определяемых значением Этот случай подробно обсуждается в гл. 2. Если категориальные, то объекты без пропусков можно расположить в двумерной таблице сопряженности, ячейки в которой определяются значениями обеих переменных. Объекты, у которых присутствует только X, дают дополнительные маргинальные по частоты. Методы анализа частично классифицированных таблиц сопряженности такого типа изложены в гл. 9. Механизм образования пропусков для данных этой структуры полезно расклассифицировать в соответствии с зависимостью вероятности пропуска значения 1) от возможно, от X, 2) от X, но не от ни от X, ни от Рубин [см. Rubin (1976)] предлагает следующую терминологию, отчасти использованную в разделе 1.5. Если верен случай 3, то мы говорим, что отсутствующие данные отсутствуют случайно (ОС) и присутствующие данные присутствуют случайно (ПС) или в целом данные отсутствуют полностью случайно (ОПС). В этом случае наблюдаемые значения образуют случайную подвыборку, как на рис. 1.1а. В случае 2 мы говорим, что отсутствующие данные отсутствуют случайно (ОС). Наблюдаемые значения не обязательно являются случайной подвыборкой извлеченных значений, но образуют случайную подвыборку в каждой подгруппе, определяемой значением В случае 1 данные ни ПС, ни ОС. В случаях 2 и 3 в выводах, основанных на функции правдоподобия, механизм пропусков можно игнорировать. В случае 3 этот механизм игнорируем для выводов, основанных как на выборочных статистиках, так и на функции правдоподобия. В случае 1 механизм неигнорируем. Эту классификацию можно пояснить примером.
Пример 1.5. Две непрерывные переменные. Пусть X означает возраст, размер дохода. Если вероятность того, что доход регистрируется, одинакова для всех независимо от возраста и дохода, то данные ОС и ПС (т. е. ). Если эта вероятность меняется в зависимости от возраста, но не зависит от размера дохода респондента внутри возрастной группы, то данные ОС, но не ПС (т. е. не Если вероятность пропуска зависит от дохода внутри возрастной группы, то данные ни ОС, ни ПС. Этот последний неигнорируемый случай труднее всего поддается анализу, что очень жаль, поскольку в приведенном примере наиболее вероятна именно такая ситуация.
Предположения о механизме пропусков зависят в некоторой степени от цели анализа. Если нас интересует маргинальное распределение X, то данные об У и механизм пропусков обычно нам безразличны («обычно», поскольку можно сконструировать примеры, для которых это неверно, хотя они имеют скорее теоретическое, чем практическое значение). Если же мы хотим исследовать условное по X распределение величины Y, например при изучении зависимости дохода от возраста, то анализ по комплектным объектам может быть удовлетворительным, если данные ОС. С другой стороны, если мы изучаем маргинальное распределение или общие характеристики, например среднее Y, то анализ, основанный на комплектных объектах, будет в общем случае смещенным, если не выполняется предположение ОПС. Если присутствуют для всех объектов, значения X при оценивании среднего обычно бесполезны, однако для структуры, представленной на рис. 1.3, значения X нужны как для повышения эффективности оценки среднего Y, так и для устранения смещения, если неверно ОПС. Это замечание очень важно и будет обсуждаться в других главах.
Оценивание совместного распределения по данным с монотонной структурой (см. рис. 1.3) в предположении ОС часто можно упростить факторизацией распределения, которая подробно обсуждается в гл. 6. Пусть плотность совместного распределения Эту плотность можно факторизовать в виде
где - маргинальная плотность условная по X плотность Здесь и далее функции можно различать по аргументам. Выводы о маргинальном распределении возраста могут быть основаны на наблюденных значениях возраста. Выводы об условном по возрасту распределении дохода могут быть основаны на комплектных объектах. Результаты этого анализа можно объединить, чтобы оценить совместное распределение возраста и дохода или распределение возраста, условное по доходу. Оценивание распределения дохода, условного по возрасту, часто является разновидностью регрессионного анализа, а техника факторизации связана с идеей заполнения пропусков по доходу при использовании регрессии дохода на возраст и при вычислении прогноза дохода. Таким образом, анализ данных, приведенных на рис. 1.3, можно рассматривать как классическую задачу предсказания значения по регрессии.
Пример переменных с пропусками в одной переменной. Во многих задачах полностью присутствуют значения переменных для всех объектов. Такие данные можно представить рис. 1.3, где X обозначает матрицу В задаче, в которой
предполагался анализ данных с пропусками и которая впервые систематически исследовалась в статистической литературе, данные имели именно такую структуру. Необходимо было решить задачу при отсутствии данных в планируемых экспериментах. В контексте сельскохозяйственных исследований эту задачу часто называют «задачей о пропуске участков». В ней нужно установить связь между зависимой переменной (урожаем) и рядом факторов (видом культуры, типом удобрения, температурой), наблюдений выбираются так, чтобы матрица плана была легко обращаема, как при полной или частичной повторной реализации факторных планов. Задача с пропусками возникает тогда, когда по завершении эксперимента значения зависимой переменной для объектов отсутствуют из-за невозможности их получить (на некоторых участках семена не дали всходов) или вследствие утраты зарегистрированных значений. При обычном анализе неполных данных используют предположение ОС, т. е. предполагают, что вероятность пропуска у, может меняться в зависимости от переменных плана, но при данном значении строки X, вероятность отсутствия не зависит от В практических приложениях следует проверять допустимость такого предположения. Анализ строится так, чтобы использовать «почти сбалансированность» получаемого множества данных для упрощения вычислений. Например, одним из способов является подстановка оценок пропущенных значений вместо пропусков и последующий анализ в предположении, что данные полные. Здесь требуют внимания такие вопросы, как выбор значений для подстановки и модификации методов с целью учета подстановок. Эта проблема обсуждается в гл. 2.
Задачи с пропусками признаков в выборочных обследованиях часто имеют такую же структуру, как на рис. соответствует признаку с пропусками, X — «фоновым» признакам, наблюдаемым полностью. Главным является оценивание маргинального распределения Y, в отличие от задачи дисперсионного анализа, где исследуется условное по X распределение Тем не менее эти две задачи до некоторой степени сходны.
Все описанные в литературе методы выборочных обследований при наличии пропусков требуют предположения, что данные ОС, хотя для многих практических задач это крайне сомнительно. В дополнение к обсуждению в гл. 4 методов, основанных на рандомизации, мы осветим в гл. 12 некоторые новые работы по ослаблению предположений ОС и опишем методы с применением функции правдоподобия.
|
1 |
|