1.6. МНОГОМЕРНЫЙ СЛУЧАЙ С ПРОПУСКАМИ В ОДНОЙ ПЕРЕМЕННОЙ

Предположим теперь, что к переменной У из раздела 1.5 мы добавили измененную X, значения которой наблюдаются без пропусков, т. е. зарегистрированную для всех объектов выборки. Тогда мы получим монотонную структуру данных (рис. 1.3). К этой структуре приводит множество ситуаций. В выборочных обследованиях переменная У может быть разделом вопросника, на который не всегда дают ответ (например, доход), признаком со значениями для всех объектов выборки (например, переменная плана, такая, как место жительства, или всегда присутствующий признак — возраст). В эксперименте X может быть случайной, регистрируемой без пропусков, или детерминированной величиной, управляемой экспериментатором, например индикатор включения в выборку в рандомизированном плане. Данные по У могут отсутствовать вследствие неуправляемых событий в процессе сбора таких данных, как отказ от ответа, недопустимые значения, удаленные из выборки, ошибки при регистрации данных. С другой стороны, их отсутствие может быть связано с планом, как в калибровочном эксперименте, где X — дешевое измерение, полученное для большой выборки, дорогостоящее измерение, получаемое для подвыборки.

Рис. 1.3. Монотонная структура. X присутствует больше могут быть как непрерывными, так и категориальными признаками. Ситуация, когда двумерная нормальная случайная величина, подробно изучена и обсуждается в гл. 6 в контексте монотонных структур неполных данных. Если X — категориальный,

непрерывный признак, то вид данных соответствует однофакторному дисперсионному анализу с пропусками некоторых значений внутри групп, определяемых значением Этот случай подробно обсуждается в гл. 2. Если категориальные, то объекты без пропусков можно расположить в двумерной таблице сопряженности, ячейки в которой определяются значениями обеих переменных. Объекты, у которых присутствует только X, дают дополнительные маргинальные по частоты. Методы анализа частично классифицированных таблиц сопряженности такого типа изложены в гл. 9. Механизм образования пропусков для данных этой структуры полезно расклассифицировать в соответствии с зависимостью вероятности пропуска значения 1) от возможно, от X, 2) от X, но не от ни от X, ни от Рубин [см. Rubin (1976)] предлагает следующую терминологию, отчасти использованную в разделе 1.5. Если верен случай 3, то мы говорим, что отсутствующие данные отсутствуют случайно (ОС) и присутствующие данные присутствуют случайно (ПС) или в целом данные отсутствуют полностью случайно (ОПС). В этом случае наблюдаемые значения образуют случайную подвыборку, как на рис. 1.1а. В случае 2 мы говорим, что отсутствующие данные отсутствуют случайно (ОС). Наблюдаемые значения не обязательно являются случайной подвыборкой извлеченных значений, но образуют случайную подвыборку в каждой подгруппе, определяемой значением В случае 1 данные ни ПС, ни ОС. В случаях 2 и 3 в выводах, основанных на функции правдоподобия, механизм пропусков можно игнорировать. В случае 3 этот механизм игнорируем для выводов, основанных как на выборочных статистиках, так и на функции правдоподобия. В случае 1 механизм неигнорируем. Эту классификацию можно пояснить примером.

Пример 1.5. Две непрерывные переменные. Пусть X означает возраст, размер дохода. Если вероятность того, что доход регистрируется, одинакова для всех независимо от возраста и дохода, то данные ОС и ПС (т. е. ). Если эта вероятность меняется в зависимости от возраста, но не зависит от размера дохода респондента внутри возрастной группы, то данные ОС, но не ПС (т. е. не Если вероятность пропуска зависит от дохода внутри возрастной группы, то данные ни ОС, ни ПС. Этот последний неигнорируемый случай труднее всего поддается анализу, что очень жаль, поскольку в приведенном примере наиболее вероятна именно такая ситуация.

Предположения о механизме пропусков зависят в некоторой степени от цели анализа. Если нас интересует маргинальное распределение X, то данные об У и механизм пропусков обычно нам безразличны («обычно», поскольку можно сконструировать примеры, для которых это неверно, хотя они имеют скорее теоретическое, чем практическое значение). Если же мы хотим исследовать условное по X распределение величины Y, например при изучении зависимости дохода от возраста, то анализ по комплектным объектам может быть удовлетворительным, если данные ОС. С другой стороны, если мы изучаем маргинальное распределение или общие характеристики, например среднее Y, то анализ, основанный на комплектных объектах, будет в общем случае смещенным, если не выполняется предположение ОПС. Если присутствуют для всех объектов, значения X при оценивании среднего обычно бесполезны, однако для структуры, представленной на рис. 1.3, значения X нужны как для повышения эффективности оценки среднего Y, так и для устранения смещения, если неверно ОПС. Это замечание очень важно и будет обсуждаться в других главах.

Оценивание совместного распределения по данным с монотонной структурой (см. рис. 1.3) в предположении ОС часто можно упростить факторизацией распределения, которая подробно обсуждается в гл. 6. Пусть плотность совместного распределения Эту плотность можно факторизовать в виде

где - маргинальная плотность условная по X плотность Здесь и далее функции можно различать по аргументам. Выводы о маргинальном распределении возраста могут быть основаны на наблюденных значениях возраста. Выводы об условном по возрасту распределении дохода могут быть основаны на комплектных объектах. Результаты этого анализа можно объединить, чтобы оценить совместное распределение возраста и дохода или распределение возраста, условное по доходу. Оценивание распределения дохода, условного по возрасту, часто является разновидностью регрессионного анализа, а техника факторизации связана с идеей заполнения пропусков по доходу при использовании регрессии дохода на возраст и при вычислении прогноза дохода. Таким образом, анализ данных, приведенных на рис. 1.3, можно рассматривать как классическую задачу предсказания значения по регрессии.

Пример переменных с пропусками в одной переменной. Во многих задачах полностью присутствуют значения переменных для всех объектов. Такие данные можно представить рис. 1.3, где X обозначает матрицу В задаче, в которой

предполагался анализ данных с пропусками и которая впервые систематически исследовалась в статистической литературе, данные имели именно такую структуру. Необходимо было решить задачу при отсутствии данных в планируемых экспериментах. В контексте сельскохозяйственных исследований эту задачу часто называют «задачей о пропуске участков». В ней нужно установить связь между зависимой переменной (урожаем) и рядом факторов (видом культуры, типом удобрения, температурой), наблюдений выбираются так, чтобы матрица плана была легко обращаема, как при полной или частичной повторной реализации факторных планов. Задача с пропусками возникает тогда, когда по завершении эксперимента значения зависимой переменной для объектов отсутствуют из-за невозможности их получить (на некоторых участках семена не дали всходов) или вследствие утраты зарегистрированных значений. При обычном анализе неполных данных используют предположение ОС, т. е. предполагают, что вероятность пропуска у, может меняться в зависимости от переменных плана, но при данном значении строки X, вероятность отсутствия не зависит от В практических приложениях следует проверять допустимость такого предположения. Анализ строится так, чтобы использовать «почти сбалансированность» получаемого множества данных для упрощения вычислений. Например, одним из способов является подстановка оценок пропущенных значений вместо пропусков и последующий анализ в предположении, что данные полные. Здесь требуют внимания такие вопросы, как выбор значений для подстановки и модификации методов с целью учета подстановок. Эта проблема обсуждается в гл. 2.

Задачи с пропусками признаков в выборочных обследованиях часто имеют такую же структуру, как на рис. соответствует признаку с пропусками, X — «фоновым» признакам, наблюдаемым полностью. Главным является оценивание маргинального распределения Y, в отличие от задачи дисперсионного анализа, где исследуется условное по X распределение Тем не менее эти две задачи до некоторой степени сходны.

Все описанные в литературе методы выборочных обследований при наличии пропусков требуют предположения, что данные ОС, хотя для многих практических задач это крайне сомнительно. В дополнение к обсуждению в гл. 4 методов, основанных на рандомизации, мы осветим в гл. 12 некоторые новые работы по ослаблению предположений ОС и опишем методы с применением функции правдоподобия.