18.2. Визуализация данных

18.2.1. Роль визуализации в разведочном анализе данных.

Как выше указывалось, основное назначение РАД — дать компактное и понятное для исследователя описание структуры данных или структуры зависимости переменных. Визуализация данных, которая предполагает получение тем или иным способом их графического отображения, так что исследователь может просто путем непосредственного визуального анализа этого изображения определить, имеет ли место одна из моделей структуры данных (а, б, в, г), является, по-видимому, наиболее наглядным способом описания.

Графическое отображение (гистограммы, диаграммы рассеивания) может быть получено непосредственно в пространстве исходных переменных. Однако «информативное» графическое отображение многомерных данных получается с помощью методов РАД, нацеленных на выявление перечисленных структур данных и зависимостей (например, главных компонент, анализа соответствий, целенаправленного проецирования и т.д.). В результате применения этих методов получаются образы объектов, переменных и (для неколичественных переменных методом соответствий анализа) категория в виде точек обычно размерности 1-3. Выходная размерность данных может быть и больше 3, но для графического отображения все равно берутся какие-либо одна, две или три их координаты, обычно при этом первые координаты более информативны и используются для визуального анализа в первую очередь. Быстро возрастающая роль визуального анализа многомерных данных стимулирована широким распространением и доступностью технических (вычислительных) средств, обеспечивающих построение визуальных образов.

В 60-е и 70-е годы основным и наиболее широко использовавшимся техническим средством для представления графических форм, возникающих в статистическом анализе, служило алфавитно-цифровое печатающее устройство (АЦПУ). Существенно менее доступными были графопостроители и графические дисплеи. Тем не менее некоторые динамические формы визуального анализа были разработаны уже в начале 70-х годов именно с целью использования возможностей графического дисплея, обслуживаемого достаточно мощной ЭВМ. В качестве такого примера можно привести систему PRIME [230].

Современная графика для статистического анализа обладает всеми свойствами и преимуществами компьютерной графики — построение, обработка и модификация графических форм возможна в интерактивном режиме и за короткое время.

18.2.2. Диаграммы рассеивания.

Рассмотрим вопросы визуализации многомерных данных, связанные с использованием диаграмм рассеивания (ДР), которые являются широко распространенной, простой и эффективной формой визуального представления данных. Некоторые другие формы визуального представления данных (гистограммы, графики оценок плотности и др.) рассмотрены в [223, 11, гл. 10]. В гл. 8 книги приведены формы визуализации структур, возникающих в иерархических процедурах кластер-анализа.

ДР многомерных данных является визуальной формой представления результатов некоторого отображения исходной матрицы данных в двумерное евклидово пространство. Роль исходной матрицы данных может играть матрица «объект — свойство» или матрица близостей (отношений «объект—объект», «переменная—переменная»). В качестве отображенных на ДР единиц могут выступать объекты, переменные, категории переменных (если переменные неколичественные). Далее они будут называться отображенными единицами (ОЕ). Графические же элементы, с помощью которых ОЕ изображаются на ДР, будут называться выразительными элементами (ВЭ). В табл. 18.1 приведены основные методы анализа, порождающие информативные ДР.

Рассмотрим теперь некоторые способы, позволяющие улучшить способность ДР к отображению структурных данных.

Маркирование ОЕ. Маркирование достигается, в зависимости от технических возможностей средств графического отображения, путем вариации окраски, формы и величины ВЭ, используемых для представления на ДР отображаемых единиц — объектов, переменных, категорий.

Таблица 18.1

(см. скан)

Так, обыденной практикой в дискриминантном и кластерном анализе является выделение на ДР, путем маркирования объектов, принадлежащих к разным группам, категорий, принадлежащих к разным переменным в множественном анализе соответствий.

Другой пример — маркирование объектов, подозрительных на аномальность, на ДР, используемой в целенаправленном проецировании для выделения аномальных наблюдений (см. пример 19.3).

Маркирование может быть использовано и с целью отображения на двумерной ДР информации о некотором дополнительном третьем измерении (например, о третьей главной компоненте на ДР, соответствующей двум первым ГК). Для этого, например, объекты изображаются точками, а из этих точек восстанавливается отрезок, параллельный оси Оу (вертикальной оси). Длина этого отрезка пропорциональна значению третьей координаты, а ее направление вверх или вниз соответствует знаку этой координаты. Если количество ОЕ невелико, то можно маркировать и четвертое измерение с помощью, например, горизонтальных отрезков. Другой возможностью на цветном графическом дисплее является использование окраски и ее интенсивности. Например, красная, оранжевая и желтая окраска для положительных значений третьей координаты (диапазон значений разбивается на три градации — большие, средние, малые) и синий, циан, белый — для отрицательных значений (с аналогичным разбиением диапазона отрицательных значений на три градации). Разумеется, такие ДР могут лишь частично передать информацию о взаимном расположении точек в пространстве более чем двух измерений, и Дж. Тьюки предлагает называть эти ДР -мерными [323].

Изменение масштаба. Меняя масштабы ДР по вертикали и горизонтали, тем самым изменяем метрику двумерного изображения — визуально наблюдаемые расстояния и взаимное расположение точек (изменение масштаба соответствует некоторому линейному преобразованию ОЕ в двумерном пространстве). Тем самым можно добиться более выраженного визуального представления тех или иных структур на ДР.

Один из простых технических приемов изменения масштабов состоит в следующем. Обычно при построении ДР задаются ее размеры — количество строк (линий) по оси и интервалов по оси

Размах значений ОЕ по оси делится на число строк, а размах значений по оси - на число интервалов. Полученные частные и являются масштабами измерений. Меняя задаваемое на ДР число строк и интервалов, можно добиться таким образом и изменения масштабов.

Рис. 18.1. Проекция точек, концентрирующихся вокруг параболической кривой

На рис. 18.1, а представлено облако точек, которые концентрируются вокруг некоторой кривой. Сжатие по оси делает эту структуру более выраженной, что и демонстрирует рис. 18.1, б.

При построении ДР часто используются и нелинейные преобразования координат ОЕ, например логарифмический масштаб и т. д., что в ряде случаев позволяет выявить дополнительные структурные особенности в данных.

18.2.3. Динамические формы диаграмм рассеивания

Многооконные ДР. Новые возможности для визуального анализа представляет одновременное изучение нескольких ДР для одного и того же множества ОЕ.

На экране дисплея создается несколько окон, в каждом из которых высвечивается своя ДР. При этом отображения исходной матрицы данных могут быть получены как в рамках применения одного какого-либо статистического метода (например, главных компонент), так и при применении нескольких методов (например, целенаправленное проецирование для выделения кластерной структуры (см. § 19.4) и главных компонент (см. гл. 13)). Конечно, рассмотрение изображений на нескольких ДР полезно и в статическом режиме. Однако введение динамических элементов позволяет использовать качественно новые возможности [183, 315].

Простым, но эффективным приемом является использование подвижного окна, положение и размеры которого управляются пользователем. Окно движется по одной из ДР и ОЕ, попавшие внутрь этого окна, маркируются одновременно на всех ДР. Для каких целей может быть использовано подвижное окно? Приведем только некоторые возможные применения.

Одно из возможных использований — проверка предположения о том, что выделяемое сгущение ОЕ на какой-либо ДР действительно представляет собой кластер в исходном многомерном пространстве, а не является просто свойством данной проекции. Для этого подвижное окно накладывают на сгущение и наблюдают, как расположены те же самые точки на других ДР. Если на какой-либо ДР ВЭ, соответствующие выделенным с помощью подвижного окна ОЕ, разбросаны равномерно по всему экрану, то, значит, сгущение не является кластером. Если же на всех экранах выделенная совокупность ОЕ распределена компактно, уверенность в том, что полученное образование действительно некоторый кластер, возрастает. Конечно, ДР нужно выбирать так, чтобы расстояния между ОЕ на них были бы величины одного порядка.

Другое возможное использование состоит в изучении условных распределений. Действительно, фиксация точек внутри подвижного окна на какой-либо из ДР соответствует тому, что рассматриваем на других ДР распределение ОЕ, удовлетворяющих условиям , где — границы окна; х, у — координаты точек на ДР с подвижным окном. На рис. 18.2 показана ситуация, когда точки, достаточно равномерно распределенные внутри подвижного окна на левой ДР (рис. 18.2, а), концентрируются вокруг некоторой кривой линии на другой ДР (рис. 18.2, б).

Наконец, наиболее обыденный путь использования подвижного окна состоит в использовании его для идентификации ОЕ.

Для этой же дели может служить и подвижный маркер в виде креста, стрелки и т. д.

Вращение. Другим приемом, позволяющим изучать ДР в динамике, является получение последовательности ДР, полученных путем вращения трехмерного облака ОЕ вокруг некоторой оси, и изучения его двумерных проекций в фиксированном направлении.

Рис. 18.2. Две проекции одного и того же множества объектов: а) пунктиром дано положение подвижного окна, крестами выделены точки, попавшие внутрь подвижного окиа; б) положение тех же точек на другой проекции

Таким образом, можно выбрать наиболее интересные двумерные проекции трехмерных точек. Итак, пусть имеем некоторое отображение наших ОЕ в трехмерное пространство (например, пространство трех первых главных компонент или трех направлений целенаправленного проецирования по какому-либо из критериев и т. д.). Расположим оси на экране дисплея, а ось — перпендикулярно к нему. Начнем теперь вращать пространство вокруг оси или а направление проекции пусть остается ортогональным экрану. Выберем для определенности ось Координаты ОЕ вдоль этой оси не меняются, а вертикальные координаты получаются из следующих уравнений:

или

Если координаты у и z были нормированы, то новая координата у также нормирована (имеет единственную дисперсию).

Обычно значение t берется с малым шагом и, если ЭВМ позволяет пересчитывать и подавать на экран дисплея ДР достаточно быстро, возникает плавная картина модификации изображения, своего рода фильм.

Вращение, задаваемое уравнением (18.1), отличается от задаваемого (18.2). Чтобы увидеть это, продифференцируем их по t. Имеем

Скорость изменения положения точек по вертикали для вращения (18.2) не зависит от t. В то же время для вращения (18.1) скорость изменяется с изменением угла вращения и в начале вращения скорость зависит только от неотображаемой визуально координаты (это явление называется параллакс-эффектом [183]).

18.2.4. Обработка диаграмм рассеивания с помощью статистических методов.

Рассмотренные ранее приемы манипуляции ДР, хотя и оказываются эффективными на практике, носят тем не менее технический характер. Способы обработки ДР, приведенные в настоящем параграфе, основаны на статистических идеях, и их целью является повышение «контрастности» структур, представленных на ДР, что позволяет легче обнаружить их визуально.

Рассматриваемый ниже подход основан на выделении -ближайших соседей (см. гл. 7) для каждой ОЕ на ДР. При этом -ближайших соседей выделяются либо в двумерном пространстве, соответствующем ДР, либо в исходном -мерном пространстве. В качестве метрик может использоваться практически любая метрика, перечисленная в гл. 6, 11. Таким образом, данная процедура управляется тремя факторами: числом соседей; типом метрики; пространством переменных.

После выделения -ближайших соседей получаем для каждой точки радиус минимальной сферы, в которую попали соответствующие -соседей. Радиус такой сферы является монотонно убывающей функцией от оценки плотности распределения в данной точке по методу -ближайших соседей. Теперь можно поступить по крайней мере двумя способами: 1) удалить заданный процент (5, 10, 20 %) точек с минимальной локальной плотностью; 2) позволить точкам двигаться в направлении градиента оценки плотности (подробнее см. [233]).

Если на ДР есть какая-либо структура (например, кластерная), то обычно в результате одной из этих процедур она становится более выраженной визуально (см. [323]).