ГЛАВА 2. ВВЕДЕНИЕ В ОБЩУЮ ТЕОРИЮ РАНГОВОЙ КОРРЕЛЯЦИИ

2.1. В этой главе мы перейдем к изложению общей теории корреляции рангов и выведем некоторые результаты, которые в предыдущей главе излагались без доказательства. Если читатель интересуется лишь практическими приложениями и готов принять на веру приведенные выше результаты, он может просто опустить эту главу. Если же читатель знаком с теорией корреляции, ему, быть может, стоит просмотреть эту главу, чтобы узнать, как можно с помощью единой теории связать различные коэффициенты, используемые обычно в корреляционном анализе.

Обобщенный коэффициент корреляции

2.2. Пусть дана совокупность, включающая объектов; при этом рассматриваются два свойства этих объектов: х и у. Для того чтобы иметь возможность идентифицировать любой желаемый порядок объектов, перенумеруем их от 1 до в таком случае можно утверждать, что признак будет принимать значения а признак у — значения Эти значения могут представлять собой абсолютные величины либо ранговые оценки.

Каждой паре элементов, скажем мы будем приписывать -оценку (назовем ее которая обладает следующим свойством: Аналогичным образом введем -оценку, используя для этого символ причем Знак будет означать суммирование по всем значениям от 1 до . В этом случае обобщенный коэффициент корреляции можно определить следующим образом:

Будем полагать, что принимает нулевое значение в тех случаях, когда

«тау» как частный случай обобщенного коэффициента корреляции

2.3. Такое определение обобщенного коэффициента распространяется на индексы и коэффициент корреляции причем в каждом из этих случаев меняется лишь содержание оценок

Предположим, например, что мы приписываем паре значений х и у оценку если представляет собой ранг 1-го элемента, определенный по признаку и оценку — 1, если Тогда

Аналогичные соотношения будут выражать и оценки . В таком случае сумма окажется равной удвоенной сумме (удвоенной, поскольку при суммировании каждая пара будет встречаться дважды: один раз в сочетании а другой — в сочетании Далее, сумма -оказывается равной числу слагаемых т. е. она составляет То же относится и к сумме Подставив эти результаты в выражение (2.1), можно убедиться, что совпадает с коэффициентом который был определен в гл. 1.

«ро» как частный случай обобщенного коэффициента корреляции

2.4. Вместо того чтобы приписать значения , положим

аналогичным образом определим и оценки

где ранг элемента, определенный по признаку у. Величины принимают значения от 1 до следовательно, суммы квадратов равны между собой. Подставив эти суммы в выражение (2.1), мы получаем:

Рассмотрим числитель этого выражения:

так как и равны сумме первых элементов натурального ряда, т. е. составляют

Кроме того,

и, следовательно, воспользовавшись выражением (2.6), можно написать:

Но ведь представляет собой сумму квадратов первых членов натурального ряда; эта сумма равна Подставив указанную величину в правую часть выражения (2.8), можно привести ее к следующему виду:

Далее замечаем, что

Подставив полученные значения (2.9) и (2.10) в выражение (2.5), мы находим, что

Таким образом, в этом случае принимает значение коэффициента Спирмэна

Коэффициент парной корреляции как частный случай обобщенного коэффициента корреляции

2.5. На сей раз предположим, что наши оценки основываются на значениях, которые в действительности принимали рассматриваемые переменные величины, и запишем

В таком случае

Правая часть выражения (2.13) представляет собой не что иное, как ковариацию х и у, умноженную на а правая часть выражения (2.14) — умноженную на дисперсию

Подставляя эти значения в выражение (2.1), получаем:

В этом случае представляет собой обычный коэффициент корреляции между у их.

2.6. Из предыдущего параграфа следует: если предположить, что ранги представляют собой случайные величины, то величину можно рассматривать как коэффициент корреляции между ними. Обратимся теперь к непосредственной проверке этого утверждения.

Выше уже было показано, что сумма первых членов натурального ряда может быть представлена следующим образом:

и, следовательно, первый момент (т. е. арифметическая средняя) будет составлять:

Аналогично находим:

и, таким образом, величина дисперсии может быть найдена из следующего соотношения:

Пользуясь соотношениями (2.7) и (2.10), можно найти значение

Первый смешанный момент (момент произведения) записан в правой части в квадратных скобках, он равен

Исходя из этого, определяем коэффициент корреляции:

2.7. Таким образом, из соотношения (2.1), характеризующего обобщенный коэффициент корреляции можно вывести как частные случаи коэффициенты причем переход к тому или иному коэффициенту зависит от выбора оценок, с помощью которых мы измеряем различия между рассматриваемыми объектами. Наиболее просто определяется величина коэффициента при этом каждой паре значений рассматриваемых переменных приписывается оценка, равная единице, независимо от того, насколько удалены друг от друга ранжируемые" элементы. Несколько более сложны оценки, используемые при расчете коэффициента при этом разностям между элементами приписываются веса, которые увеличиваются по мере отдаления элементов друг от друга (т. е. по мере того как возрастает число объектов, заключенных в промежутке между двумя элементами). Оценки, используемые при расчете коэффициента должны характеризовать абсолютную величину различий между значениями соответствующих переменных, измеряя эти разности с помощью какой-то объективной шкалы (если таковая существует). Какой из этих методов предпочесть? А может быть следует применить и другие пригодные методы? Ответ на эти вопросы зависит от конкретных условий.

2.8. В 1.8 отметили три свойства коэффициента корреляции рангов, которые существенно облегчают его использование. Легко видеть, что и коэффициент принимает значения от +1 до —1; это следует из неравенства Коши-Шварца:

Покажем теперь, что при некоторых условиях коэффициент обладает также третьим свойством, упомянутым в 1.8. Действительно, пусть порядок двух соответствующих пар рангов в двух последовательностях не совпадает между собой. Поменяем местами элементы одной из пар (тем самым порядок будет восстановлен); в таком случае коэффициент увеличится, если только: 1) оценки отличны от нуля; 2) величина этих оценок не уменьшается по мере удаления друг от друга элементов последовательности. Эти условия должны соблюдаться и при исчислении коэффициентов и коэффициента корреляции

Используем введенную ранее систему обозначений. При этом будем полагать, что ранговая оценка элемента больше ранга элемента допустим также, что представляют собой соответствующие ранги в другой последовательности. Символом обозначим результат суммирования по всем за исключением

Теперь приступим к вычислениям:

Поменяем местами . В результате принимает следующий вид

Приращение суммы характеризуется положительной величиной; оно равно

В таком случае если (и следовательно, ), то и в силу условий, налагаемых на поведение оценок, Если же то следовательно, Когда так что Таким образом, во всех случаях и по меньшей мере в одном случае неравенство оказывается строгим, т. е.

Аналогично можно показать, что и по крайней мере в одном случае это неравенство оказывается строгим, т. е. Следовательно, сумма, записанная в правой части выражения (2.20), представляет собой отрицательную величину, поэтому приращение должно быть положительным, что и требовалось доказать.

2.9. К подобному подходу мы будем часто прибегать в последующих главах и особенно в тех случаях, когда будут рассматриваться проблемы выборочных показателей. А сейчас приведем доказательство следующих двух положений, содержащихся в гл. 1:

а) в 1 13 утверждалось, что минимальное число перестановок, необходимых для того, чтобы перейти от одной последовательности рангов к другой, определяется только величиной выражения ;

б) в 1.19 утверждалось, что значения полученные при коррелировании последовательности А с последов зтельностью сопряженной с ней последовательностью В, равны по величине и противоположны по знаку.

2.10. Вначале докажем второе утверждение. При этом достаточно рассмотреть случай, когда последовательность А, содержащая элементы сопоставляется с порядком натуральною рядг и с порядком, обратным натуральному, Исчисляемую при корреляции между величину мы назовем

Запишем оба выражения:

Из этого следует, что

Таким образом,

что и требовалось доказать.

2.11. Теперь перейдем к доказательству того, что число перестановок можно определить следующим образом:

Для этого сначала покажем, что не превосходит величины, записанной в правой части выражения (2.21), а затем, что не может быть меньше ее. Из этих двух утверждений следует справедливость равенства (2.21).

Без потери общности можно предположить, что одна из последовательностей характеризуется натуральным порядком ведь нас интересуют только перестановки, и мы всегда можем перенумеровать элементы одной из последовательностей (скажем, второй) в натуральном порядке. Пусть элементу с номером содержащемуся во второй последовательности, соответствует элемент первой последовательности, имеющий ранг рассмотрим теперь процесс переупорядочения элементов первой последовательности. Введем следующую функцию:

Если ранг элемента равен этот объект можно переставить на первое место (в крайнее левое положение) с помощью перестановок. При этом элемент, имеющий ранг передвинется вправо на мест (позиций). Для того чтобы переместить этот элемент на второе

место, потребуется перестановок. Аналогично перемещение элемента, имеющего ранг на место потребует

перестановок. Сложив все эти величины, можно отыскать общее число перестановок:

где знак V означает суммирование по всем Тогда величину можно определить из следующего выражения:

поскольку каждый единичный вклад входит в сумму со знаком плюс в том случае, если и со знаком минус, если причем в вычислениях участвуют только такие пары элементов, у которых Это делается для того, чтобы не учитывать дважды одни и те же пары. Таким образом, число перестановок, определяемое соотношением (2.23), составляет:

потому что сумма единичных значений удовлетворяющих условию равна половине общего числа членов, т. е. Следовательно, минимальное число перестановок определяется следующим неравенством:

Обозначим буквой общую последовательность перестановок, с помощью которых удается перейти от заданного порядка элементов к натуральному порядку. Разобьем на групп: причем будет включать все перестановки элемента 1; в входят перестановки элемента 2 (но не входят перестановки элемента 1) и так далее, а это пустое множество.

В каждой группе будем различать число перестановок, в результате которых данный элемент передвигается вправо; это число обозначим а число перестановок, в результате которых этот элемент перемещается влево, — В. Самое меньшее число перестановок, которое может содержаться в равно Но эти же перестановки сдвинут объект 2 на позиций вправо. В результате всех перемещений, входящих в состав элемент 2 передвинется на позиций вправо, так что в совокупности он сместится на

позиций; вместе с тем общее число перемещений элемента 2 должно составлять

Следовательно,

Аналогично для элемента можно вывести следующее соотношение:

Просуммируем эти неравенства по Принимая во внимание, что

можно вывести следующее соотношение:

а объединив выражения (2.25) и (2.26), можно убедиться в справедливости равенства (2.21).

2.12. Теперь мы перейдем к доказательству соотношений (1.12) и (1.13), характеризующих как коэффициент взвешенных инверсий, и обобщим полученные результаты. Без потери общности можно предположить, что одна из последовательностей рангов характеризуется натуральным порядком Воспользуемся определением заданным соотношением (2.22). В таком случае можно записать:

Прибавим к этому выражению и вычтем ту же величину; тогда

Символом будем обозначать ранг элемента первой последовательности, соответствующего элементу второй последовательности; в этом случае, суммируя по слагаемые в первой сумме и по слагаемые во второй сумме, можно вывести следующее соотношение

Как и в выражении величина определяться

и, следовательно,

Но из этого непосредственно следует, что

2.13. В некоторых случаях пользуются другим способом исчисления хотя он менее удобен с точки зрения вычислений. Рассмотрим этот способ. Обозначим символами единичные оценки, используемые при расчете обобщенного коэффициента корреляции Введем также промежуточные суммы этих оценок:

В таком случае

Докажем это утверждение. Оценки можно выразить через с помощью следующего соотношения:

поскольку будет принимать значения когда и —1, когда Вместе с тем ранг любого элемента последовательности можно выразить следующим образом:

Применяя приведенные выше соотношения, можно записать:

Пусть означает среднее значение рангов оно равно следовательно,

Поскольку представляет собой коэффициент корреляции мы можем теперь вывести соотношение (2.31)

что и требовалось доказать.

2.14. Отсюда следует, что коэффициент можно представить в следующей форме:

причем суммирование проводится по всем . С другой стороны, если провести суммирование при условии получим следующее выражение

Интересно рассмотреть это выражение, задавшись следующим вопросом: в какой мере согласован между собой порядок расположения пар, взятых из двух последовательностей. Если и характеризуются одинаковым знаком, имеет место согласованность первого типа (мы рассматриваем здесь только единичные оценки). Если характеризуются одинаковым знаком, будем называть это согласованностью второго типа. Если же знаки этих оценок противоположны, имеет место несогласованность. В такой ситуации коэффициент просто характеризует удельный вес случаев согласованности первого типа при сравнении двух последовательностей рангов. Общее число возможных случаев согласованности второго типа составляет для того чтоб отличать эту величину от числа случаев согласованности первого типа, равносильного в уравнении (1.6), обозначим число случаев согласованности второго типа через Тогда

Подставив полученные выражения в (2.35), находим:

Доказательство неравенства Дэниелса

2.15. Поскольку соотношения типа невозможны, все три оценки не могут быть одного знака, и, следовательно, их сумма должна составлять ±1. Аналогичное рассуждение можно провести и для -оценок. Положим:

Теперь переименуем ранги в соответствии с их значениями в новые оценки Например, последовательность рангов трансформируется в последовательность таком случае величина будет равна + 1 или — 1, в зависимости от того, четна или нечетна перестановка оценок относительно (другими словами, от того, четным или нечетным окажется число перестановок соседних членов, требующееся для перехода от порядка одной последовательности к порядку другой). Если среди какие-либо два числа оказываются равными между собой, величина обращается в нуль.

Суммируя по всем значениям подписных индексов, находим:

Но ведь общее число возможных размещений элементов по три составляет представляет собой количество четных размещений. Введем отношение между этими величинами

Понятно, что тогда из соотношения (2.38) следует:

Переходя к пределу, мы получаем для больших

Верхний предел достижим при Действительно, сопоставим между собой последовательность, в которой ранги расположены в натуральном порядке и последовательность рангов в которой такой порядок регулярно чередуется с порядком, обратным натуральному (например, Тогда все величины будут составлять и отношение примет свое максимальное значение.

Доказательство неравенства Дарбина-Стюарта

2.16. Задача отыскания достижимого верхнего предела при заданном эквивалентна задаче определения наименьшего значения V при заданном Рассмотрим для примера совокупность, содержащую числа от одного до шести, причем коэффициент составляет

0,6 и следовательно, Если первая последовательность характеризуется натуральным порядком, V принимает наименьшее значение в том случае, когда элементы второй последовательности расположены в следующем порядке: 214365, так как, для того чтобы перейти к новой последовательности, мы осуществляем три инверсии, 21, 43, 65, а вес каждой из этих инверсий принимает минимальное значение, равное единице.

Назовем компактной такую систему рангов, элементы которой образуют инверсию между собой и только между собой; ни одну компактную последовательность невозможно разбить на подпоследовательности того же типа. Все ранги, находящиеся слева от компактной системы, меньше, а стоящие справа — больше, чем любой из элементов компактной системы.

Пусть дана инверсия, вес которой равен 2, например Рассмотрим теперь совокупность, содержащую три числа: Эти числа можно расположить тремя различными способами: Если последовательность рангов минимальна, т. е. если исчисленная для этой последовательности величина V характеризуется наименьшим значением (при заданном то все группы из трех элементов, образующие инверсию с весом 2, должны иметь следующий порядок (исключение могут составить лишь группы из трех элементов, образующие единую компактную систему). Действительно, предположим, что кроме группы вида имеется еще отличная от нее группа Тогда, заменив их последовательностями мы можем уменьшить величину V, оставив при этом неизменным.

Группу из четырех элементов, содержащую инверсию рангов т. е. инверсию с весом 3, можно построить двенадцатью различными способами. Единственный порядок, который не содержит инверсии элементов с весом 2 и не совпадает с рассмотренными выше последовательностями типа или это следующий порядок: Поэтому в минимальной последовательности рангов все группы, содержащие четыре элемента (за исключением, может быть, единой компактной системы), характеризуются порядком

Продолжая эти рассуждения, можно показать, что минимальная последовательность рангов должна состоять из групп вида исключением может быть только единая компактная система, которую мы будем называть остаточной системой, именно эта остаточная система и порождает больше всего осложнений в процессе доказательства нашей теоремы. В частности, такая остаточность системы может включать всю рассматриваемую последовательность.

2.17. Рассмотрим сначала случай, когда остаточной системы не существует. Предположим, что имеется групп вида

групп вида Тогда

В силу неравенства Коши — Шварца

и воспользовавшись выражениями (2.42) — (2.44), можно записать следующее неравенство:

В некоторых случаях, когда все равны между собой, приведенное выше выражение обращается в равенство.

2.18. Рассмотрим теперь случай, когда существует остаточная система содержащая рангов, порядок которой не совпадает с порядком последовательности Предположим, что 5 содержит инверсий, совокупный вес которых равен что последовательность 1 содержит на инверсий больше, чем 5. Тогда мы можем перейти от системы 1 к системе с помощью перестановок соседних элементов. Если мы сможем с помощью определенных перестановок разместить эти элементы в таком порядке, который обеспечивает наибольшее сокращение величины мы найдем требуемую последовательность, которая будет характеризоваться, скажем, инверсиями и минимальным значением

Допустим, что исходной последовательностью служит 1; тогда минимальное уменьшение величины которое можно обеспечить, проделав перестановок равно Это уменьшение может быть достигнуто в результате серии перестановок, последовательно перемещающих наименьший ранг из крайнего правого положения влево. Однако, когда достигается крайняя левая позиция, оказывается нарушенным требование компактности системы поскольку наименьший ранг теперь сам образует компактную систему, состоящую из одного элемента.

Далее, всякий раз, когда, отправляясь от последовательности 1 как исходной, мы будем в любой последовательности проводить перестановок (причем к полученная в результате этих перестановок система не может служить остаточной системой, образующей часть минимальной последовательности рангов. Дело в том, что, как отмечалось ранее, всегда можно с помощью перестановок

Продвинуть в крайнее левое положение наименьший ранг и тем самым нарушить условие компактности системы; в результате будет обеспечено то же количество инверсий при меньшей величине

Таким образом, в остаточной системе содержащей элементов и образующей часть минимальной последовательности ранговых оценок только один ранг будет занимать место, отличающееся от места в системе 1, и количество перестановок, с помощью которых можно перейти от 1 к подчинено следующему условию

2.19. Покажем теперь, что неравенство (2.45) может удовлетворяться только в тех случаях, когда система является остаточной. В действительности имеет место строгое неравенство

Это соотношение справедливо тогда, когда

Однако, как показано выше, поэтому соотношение (2.46) будет заведомо справедливо, если

т. е. если Но последнее неравенство удовлетворяется при любых действительных значениях Таким образом, выражение (2.45) обращается в строгое неравенство только для остаточной системы.

Допустим, что представляет собой общее число инверсий в той части последовательности, которая остается после исключения остаточной системы, соответствующую взвешенную сумму, таком случае, по определению компактной системы,

Кроме того, из соотношения (2.45) следует

Покажем, что в общем случае справедливо соотношение (2.45), т. е.

Это неравенство будет выполняться в том случае, когда

т. е.

что, в свою очередь, справедливо тогда, когда

Убедивши что последнее неравенгтго верно, мы тем самым доказываем справедливость соотношения (2.45). Это неравенстго может обратиться в равенство только в том случае, когда отсутствует остаточная система.

Отсюда следует и соотношение (1.21). Чтобы найти соответствующее выражение для отрицательных значений коэффициента заменим данную последовательность соответствующих рангов сопряженной. Это сведется просто к изменению знака у коэффициентов

Стандартный коэффициент Спирмэна

2.20. В заключение коротко рассмотрим коэффициент, основанный не на определении величины (как при исчислении коэффициента а на отыскании значения где означает абсолютное значение т. е. в расчет входит лишь величина независимо от знака. Этот показатель, котооый иногда называют стандартным коэффициентом Спирмэна, уже нельзя вывести как частный случай обобщенного коэффициента, заданного соотношением (2.1). Зададим величину коэффициента следующим образом:

Если две последовательности рантов идентичны, и коэффициент как мы обычно и предполагаем, равен 1.

Рассмотрим случай, когда одна последовательное предстаьляет собой инверсию другой. Предположим, что нечетное число, равное Тогда, в соотаетствт с (1.15).

Таким образом,

предположим, что четное число, равное Тогда, рассуждая аналогичным образом, можно показать, что

и, следовательно,

Таким образом, если коэффициент не может достичь своего минимума, равного —1. При больших четных значения этого коэффициента сходятся к —0,5, а если величины нечетны, коэффициент всегда равен Это, конечно, недостаток выбранного нами коэффициента, и мы не смсжем полностью устранить его даже в том случае, если попытаемся использовать вместо другой множитель, стоящий при в выражении (2.47).

Прибегнем, например, к следующей формуле:

случае коэффициент будет равен —1 при четных при нечетных

2 21. Наряду с этим коэффициент намниго менее чувствителен, или Выпишем, например, цифры 1, 2, 3, 4 и, рассмотрев все 24 возможнш перестановки из этих элементов, сопоставим их с порядком натурального ряда. В таком случае окажется:

Коэффициент меняется, например, от 0,2 до 0,6; коэффициент продолжает сохранять значение, равное 0,2; или же, скажем, может менять значения от 0,0 до —0,6, тогда как величина остается постоянной и равной — 0,2.

Учитывая все эти обстоятельства и принимая во внимание аналитические трудности, которые возникают при работе с выборками, характеризующими распределение величин мы можем с полным основанием отказаться от его применения, предпочитая коэффициенты или

Библиография

Основная работа, посвященная построению обобщенных коэффициентов, принадлежит Дэниелсу [9] (см. также ссылки, приведенные в библиографии к гл. 1). В чрезвычайно важной, но сложной статье [39] рассмотрен весьма общий класс статистических характеристик, который включает как частный случай коэффициенты ранговой корреляции. См. также [251.

Свойство 2.8 описано в [10]. Неравенства, характеризующие коэффициенты описаны в работах, которые указаны в библиографии к гл. 1.