Лекция 19. Критерий Колмогорова-Смирнова и коэффициент ранговой корреляции

Рассмотрим две специфические задачи, которые могут возникнуть в практике обработки измерений.

Задача 19.1 Даны две выборки соответственно с элементами

Необходимо решить, принадлежат ли выборки одной и той же генеральной совокупности П или нет. Здесь П - множество всех возможных выборок при условии, что каждый элемент выборки имеет одно и тоже распределение вероятностей.

Задача решается следующим образом.

Для выборки а и выборки строятся эмпирические функции распределения вероятностей Для этого весь возможный диапазон значений элементов выборки разбивается на интервалы, протяженностью А. Величина А выбирается из расчета, чтобы в интервал А попадало в среднем несколько элементов.

Пусть количество интервалов равно так что каждый интервал задается соотношением

где

- минимальное значение элемента выборок а и

- количество интервалов разбиения.

Для каждой из выборок вычисляем количество элементов попавших в тот или иной интервал, и рассчитываем функцию распределения

Далее формируется максимальное расстояние между

и проверяется неравенство

Коэффициент определяется заданной доверительной вероятностью (1-а):

Если неравенство (19.5) выполняется, то нет оснований считать, что выборки а и не принадлежат одной и той же генеральной совокупности Значение

справедливо при больших (например, при ) Для малых значений при условии значения даны в табл. 19.1.

Таблица 19.1. Значения

Пример 19.1. Дано:

Необходимо проверить, имеются ли основания считать выборки а и разными (не принадлежащими одной и той же генеральной совокупности ).

Выбираем и формируем интервалы Для каждого интервала вычисляем

Условие (19.4) дает

Задаемся доверительной вероятностью

По табл. 19.1 находим

Сравнивая и имеем

Следовательно, есть основание считать, что выборки принадлежат одной и той же генеральной совокупности

Отметим, что (19.5) дает тот же результат:

Рассмотрим другую задачу.

Задача 19.2 Пусть имеется ряд предметов, которые занумерованы Каждый предмет характеризуется двумя признаками причем для каждого признака определена шкала значений. Следовательно, каждый предмет в нашем ряду имеет два признака, численные значения которых равны соответственно Необходимо установить наличие зависимости (корреляции) между признаками: если предмет обладает признаком то он будет обладать (не обладать) и признаком

Положим, что - это номер предмета в ряду предметов, упорядоченных в порядке возрастания признака Аналогично, - номер предмета в ряду, упорядоченном по Номер предмета в таких рядах будем называть рангом. На основе значений рангов вычисляется так называемый коэффициент ранговой корреляции Спирмэна [10]

где а суммирование производится по от 1 до Коэффициент ранговой корреляции есть, по существу, своеобразная оценка коэффициента корреляции

Пример 19.2. Выбраны 10 студентов по алфавиту. Анализируется их успеваемость по физическому практикуму и успеваемость по семинарам Успеваемость оценивается числом от 1 до 10 в зависимости от места по успеваемости среди выбранных 10 студентов.

Результаты получены следующие:

На основе значений вычисляем по (19.7) коэффициент ранговой корреляции Спирмэна

Здесь - общее количество выбранных студентов, а суммирование производится от 1 до

Значимость полученной оценки коэффициента корреляции проверяется неравенством Значение в зависимости от доверительной вероятности (1 - а) при малых задается таблицей

Таблица 19.2

Если то корреляция имеется - положительная при и отрицательная при

В нашем случае при имеем Следовательно, есть основания утверждать, что успеваемость студента по практикуму и семинару коррелированны: хорошая успеваемость по практикуму влечет за собой хорошую успеваемость и по семинару.

Приведем примеры использования ранговой корреляции из более серьезной области - экономики.

Экономика - это хозяйство страны: индустрия, сельское хозяйство, торговля и т.п. По-видимому, это самая сложная и большая система в той или иной стране, определяющая уровень жизни населения.

С физической точки зрения в основе функционирования и развития любой системы должна лежать энергия. Именно энергетические преобразования обеспечивают функционирование и движение. Поэтому и в основе функционирования и развития экономической системы - экономики должна лежать потребляемая энергия.

Рассмотрим взаимосвязь в отдельно взятой стране между потребляемой мощностью (энергией) и совокупным общественным продуктом (СОП). Совокупный общественный продукт - это вновь созданная стоимость товаров и услуг за год в стране без импорта.

В табл. 19.3 приведены значения рангов потребляемой мощности (всех возможных видов энергии, используемых в стрвне), СОП и затрат на НИОКР (данные на конец 1988 г.). Прочерк означает отсутствие данных.

Таблица 19.3 (см. скан) Ранги потребляемой мощности, СОП и затрат на НИОКР

Вычислим коэффициент ранговой корреляции Спирмэна для потребляемой мощности (Е) и СОП (значения разности рангов приведены в колонке СОП (в скобках)):

Если выбрать доверительную вероятность то пороговое значение (табл. 19.2). Сравнивая видим, что с большой доверительной вероятностью (0.99) потребляемая мощность (Е) и СОП положительно коррелированы Это означает, что при возрастании потребляемой мощности совокупный общественный продукт имеет тенденцию в среднем (по странам мира) возрастать.

При анализе взаимосвязи Е и затрат на НИОКР необходимо учесть отсутствие данных. Это вызывает необходимость перевычислить часть рангов Е, чтобы учесть пропуск данных. Новые ранги даны в знаменателе в колонке Е.

Расчет коэффициента ранговой корреляции производится только с учетом рангов, указанных в знаменателе:

Выбирая имеем

Сравнивая видим, что Следовательно, сбольшой доверительной вероятностью наблюдается положительная корреляция между потребляемой страной мощностью (энергией) и затратами, которые страна расходует на

Следует сказать, что коэффициент ранговой корреляции Спирмэна и коэффициент корреляции хотя и не совпадают, но, как правило, показывают один и тот же характер взаимозависимости двух случайных величин.

Оценка коэффициента корреляции по выборке двух случайных величин X и рассчитывается по формуле

где

а суммирование при расчете от 1 до

Ниже в табл. 19.4 приведены значения границ (числитель) и (знаменатель) доверительного интервала для при доаерительной вероятности для различных значений объема выборки и полученного значения

Данные таблицы получены из соответствующих графиков из [10]. Точность этих данных ±0.02.

Таблица 19.4 (см. скан) Границы доверительного интервала для оценки коэффициента корреляции при доверительной вероятности

Пример 19.3. Ниже в табл. 19.5 приведены (полученные из Handbook of International Economics Statistics: Central Intelligence Agency, Directorate of Intelligence) данные по потребляемой энергии (ПЭ) на душу населения и Валовому внутреннему продукту (ВВП) также на душу населения по 17 странам за 1996 г. Там же даны значения соответствующих рангоа. ПЭ и ВВП даны в условных единицах: ПЭ в тысячах баррелей нефти в день, а ВВП в тыс. доларов (по уровню доллара в 1997 г.).

Таблица 19.5 (см. скан) Потребляемая энергия и ВВП на душу населения в 1996 г.

Коэффициент рангоаой корреляции, вычисленный по рангам табл. 19.5, равен Для доверительной вероятности пороговое значение Поскольку то полученная положительная корреляция между ПЭ и ВВП на душу населения значима.

Вычислим теперь по (19.8) оценку коэффициента корреляции между на душу населения. В результате получим По табл. 19.4 определим доверительные границы для истинного значения Для этого примем (близко к 17) и (близко к 0.83). Имеем

Как видно, коэффициент ранговой корреляции практически совпадает с и лежит также в диапазоне (0.95; 0.73).

Коэффициент корреляции или коэффициент рангоаой корреляции Спирмэна являются показателями статистической взаимозависимости двух случайных величин X и Но отсюда вовсе не следует причинная зависимость, а именно что X порождает У или наоборот. Для иллюстрации этого положения приведем выдержку из [6]: “Статистическая зависимость, как бы ни была она сильна, никогда не может установить причинной связи: наши идеи и причины должны приходить извне статистики, в конечном счете из некоторой другой теории. Статистическая зависимость любого сорта логически не влечет причинной".