ПРИЛОЖЕНИЕ К РУССКОМУ ПЕРЕВОДУ

ПАРНЫЕ СРАВНЕНИЯ В ПРОШЛОМ, НАСТОЯЩЕМ И БУДУЩЕМ

Книга, которую вы только что прочитали, представляет собой одну из первых в мировой литературе попыток построения теории простейшей разновидности сравнений, когда объекты сравниваются попарно. Данное послесловие ставит три цели: 1) общее представление о сравнениях и их возможностях, 2) краткая характеристика книги Г. Дэвида, 3) краткий обзор более поздних результатов с библиографией ключевых работ. В таком порядке и построено изложение материала.

Упорядочение, оценивание и принятие решений. Одна из главных целей сравнения — упорядочение объектов или некоторых представлений о них, систематика явлений окружающего нас мира. Такие сравнения привели, например, к систематике животных и растений, классификации горных пород по твердости, шкалам силы землетрясений, силы ветра, высоты штормовых волн. При описании явлений природы упорядочение — часто цель работы.

Несколько иную роль играют сравнения в оценочных суждениях такого типа, как, например, «в этом году яблок уродилось больше, чем в прошлом». Здесь сравнение не претендует на роль элемента системы, а приводит к единичному суждению, по крайней мере внешне.

Характерно для рассмотренных случаев то, что сравнение не предполагало выбора. В практической деятельности сравнение чаще всего выступает именно как инструмент выбора. Тогда оно оказывается включенным в общую процедуру принятия решений как средство сопоставления или упорядочения альтернатив перед выбором. Теперь сравнение уже не беспристрастно, в нем заложена идея предпочтения. Значит, возник вопрос (гипотеза), для ответа на который решено привлечь некоторое сравнение или систему сравнений; определен критерий, позволяющий предпочесть ту или иную из альтернатив; указана операция, приводящая к значению заданного критерия. Конечно, определены множество альтернатив, внешние условия сравнений и т. п.

Собственно операция, устанавливающая отношения между альтернативами (объектами), определяется числом объектов, используемых одновременно: при установлении эквивалентности некоторого объекта самому себе применяется одноместная операция, так как фигурирует лишь один объект, а когда проводится двухместная операция, то как раз и получаются парные сравнения. Существуют и более сложные операции, приводящие к множественным сравнениям.

Когда мы сравниваем, скажем, размеры двух земельных участков, говоря, что один из них больше другого, то предполагается возможность прямых инструментальных измерений этих размеров. Но если мы скажем, что один из этих участков красивее другого, то метр окажется непригодным инструментом сравнения. В такой ситуации приходится прибегать к суждениям компетентных людей, называемых экспертами. Подобные суждения чрезвычайно важны в экономике (в самом широком смысле этого слова), а также в социологии и психологии (сошлемся на обзоры [336], [337], книги [333], [198] и [215]). Более узкие области применения парных сравнений — научно-техническое прогнозирование ([166], [168], [171], 1207]) и особенно оценка качества продукции ([170], [201], [208]), где методы экспертных оценок часто единственно возможны. Такой интенсивно развиваемый раздел науки, как принятие решений ([338], [164]), тесно связан с методами парных сравнений — общими приложениями и некоторыми математическими задачами. Парные сравнения используются также в различных областях техники, гуманитарных наук, спорта (например, фигурное катание). Но и это не все. Частная жизнь каждого из нас в значительной степени определяется теми сравнениями, которые мы непрерывно осуществляем, и теми предпочтениями, которые мы при этом делаем.

Сравнить—очень часто означает измерить. Поэтому операция сравнения лежит в основе процедур измерения и приводит к построению измерительных шкал. Это помимо всего прочего имеет большое значение для научных исследований, для которых измерение — один из главных инструментов познания. В последние годы закладываются основы общей теории измерений, сравнения играют достойную роль.

Особая роль сравнений в построении измерительных шкал объясняет их отношение к построению шкал полезности и желательности и их место в методах исследования операций, системотехники, сетевого планирования, ПАТТЕРН, в задачах органолептических измерений, прогнозирования, педагогики и психологии.

Самые простые и естественные среди сравнений — парные сравнения, которым и посвящена данная книга. Перейдем теперь к ее краткой характеристике.

Парные сравнения и книга Г. Дэвида. Данная книга, как всякая классическая работа, суммирует наиболее простые, четкие и разработанные модели и результаты. Любопытно, что второе издание 1969 г., с которого сделан настоящий перевод, отличается от первого издания 1963 г. лишь добавлением в несколько строк.

Центральное место в книге занимают линейные модели Тэрстоуна — Мостеллера (ТМ), Брэдли — Терри (БТ) и Бока, проблемы

планирования экспериментов в задачах парных сравнений и тесно связанные с экспериментальными планами вопросы построения турниров, особенно направленных на выявление лучшего объекта (игрока) из заданного конечного множества.

Источником моделей для парных сравнений служит в основном психология. Там накоплен уже большой опыт, сложились традиции, и вряд ли стоит говорить здесь об этом подробно. Что же касается интерпретации парных сравнений как эмпирической процедуры и вызванной ею идей планирования экспериментов парных сравнений, то это, пожалуй, самая нетривиальная часть книги. Связать воедино парные сравнения, планы и турниры — значит обеспечить высокую эффективность парных сравнений за счет разумного сокращения числа элементарных операций сравнения; расширить область приложения теории планирования эксперимента в масштабах, которые, несомненно, окажут влияние на судьбу самой теории; наконец, получить удобные и рациональные схемы проведения спортивных состязаний — турниров. Последнее достижение кажется слишком узким. Но на самом деле это совсем не так. Проблемы, изоморфные турнирам, постоянно возникают в значительно более серьезных областях, чем спорт, скажем, при сравнении алгоритмов, предназначаемых для решения некоторой задачи, да и вообще при выборе «наилучшего» объекта, будь то проект завода или стиральная машина.

Теория вероятностей, комбинаторный анализ, дискретная математика и математическая статистика образуют теоретический фундамент, на котором построено здание парных сравнений. Сюда нужно было бы добавить еще и теорию графов, но Дэвид ею практически не пользуется (из-за чего иногда не вполне точен, см. сноску на с. 21). Вообще эклектичность «начал», из которых складывается современная теория парных сравнений, создает при изложении большие трудности. Только последовательно оставаясь на статистической точке зрения, автор сохраняет сбалансированность материала.

Собранные в последней главе вариации моделей парных сравнений дают известные представления о расширении их возможностей при учете некоторых дополнительных обстоятельств — качества экспертов, равенства рангов, порядка представления пар и т. п. В последние года в этих (и других) направлениях наметился значительный прогресс, о котором мы скажем дальше. А прежде остановимся на особенностях перевода на русский язык ряда терминов. Начнем с одного уже давнего недоразумения, которое пора рассеять. Речь идет об английских терминах tied и tied ranks. Первый из них мы переводим в зависимости от контекста как равенство, совпадение, ничья, а второй — равные ранги или совпадающие ранги, вместо получившего распространение термина связанные ранги, связи, что не оправдано ни лингвистически, ни логически.

Для выражения taste testing нам представляется наиболее подходящим русский термин дегустация.

Удобное, короткое и емкое английское слово score приходится передавать в зависимости от контекста как число очков, очки, счет, результат, значение, данные, отметка. Получивший некоторое распространение перевод метка представляется малоудачным, поскольку метка ассоциируется со шкалой прибора или зарубкой на дереве и не выражает всех нужных оттенков. Другой возможный вариант перевода — оценка — ведет к синонимии с распространенным статистическим термином и потому нецелесообразен.

В литературе на русском языке прижился термин пробит (probit - probability unit), введенный Финни. Поэтому было решено для его рангового аналога (rankit) поступить аналогично, воспользовавшись транслитерацией ранкит.

Уже ясно, что в книге много терминов спортивного происхождения. Для ряда из них приведем принятые переводы «.Round Robin» tournament - круговой турнир (или турнир по круговой системе): knock-out tournament - олимпийский турнир (или турнир с выбыванием после проигрыша), double elimination tournament - турнир с выбыванием после двух проигрышей; round - тур, период, тайм, раунд.

Три разных английских слова merit, value и worth мы воспринимали как синонимы и переводили одним словом — ценность, с редкими вариантами — цена, стоимость. Конечно, в соответствующих контекстах слово value сохраняло свой другой смысл — значение, величина.

Наконец укажем еще перевод терминов rating methods и personal rating. Первый мы переводили так: методы упорядочения (определения рейтинга), методы аттестации. Слово рейтинг завоевало права гражданства, например, в шахматах, где принято говорить о рейтинге, или индивидуальном коэффициенте шахматиста, определяемом, кстати сказать, с помощью системы парных сравнений (вообще говоря, несбалансированной). Второй термин получил значения индивидуальный рейтинг или аттестация.

Эти не претендующие на полноту терминологические заметки должны, как мы надеемся, помочь упорядочению русской терминологии в области парных сравнений.

Парные сравнения — новый этап. Можно констатировать, что классический период развития парных сравнений уже принадлежит прошлому. Можно надеяться, что мы стоим на пороге нового этапа. Во всяком случае, поток литературы стремителен. Наши трудности усугубляются рассеянием информации по самым различным и часто неожиданным изданиям на разных языках и в разных странах. Начнем с обзоров и библиографий последнего времени, чтобы затем попытаться пополнить их наиболее важными из оказавшихся в нашем распоряжении работ, подвергнутых грубой классификации.

Если говорить об обзорах и библиографиях, то, несомненно, наибольшее значение имеют работа Брэдли [244] и работы [280], 12811 вместе с сопровождающей дискуссией и соответствующей обширной библиографией [259], а также обзор [336], на русском языке — недавно изданный (и, видимо, пока единственный) обзор [216]. Далее мы просто перечислим в алфавитном порядке иностранные и отечественные монографии, обзоры и библиографии, имеющие прямое или косвенное

отношение к нашему предмету и в основном относящиеся к последнему времени. Пересечения с работами [216], [244] и [259] минимальны. Итак, [147] — [219]. Эта библиография избавляет нас от необходимости перечисления многих работ, ссылки на которые можно найти в указанных источниках.

Теперь остановимся кратко на нескольких ведущих направлениях развития парных сравнений.

Модели и предпосылки. Суждения экспертов есть всего только суждения экспертов и, что бы мы ни говорили, имеют субъективную окраску. Это обстоятельство долгие годы служило пугалом, мешавшим привлечению столь «ненаучной» информации к научному рассмотрению тех или иных сложных проблем. Потребовалось много времени, чтобы осознать, что, во-первых, у нас часто просто нет альтернативы, а во-вторых, что в самых респектабельных научных концепциях, по существу, присутствует неизбежная доля той самой субъективности, к которой мы столь пренебрежительно относимся. Поэтому произошло включение в научный обиход рассмотрения, анализа и использования субъективных суждений, что, на наш взгляд, служит вехой в истории науки.

Всякое субъективное суждение связано с некоторой долей неопределенности, неуверенности, сомнительности. Это вполне естественно, ибо мы обращаемся к суждениям экспертов только тогда, когда не в силах справиться с проблемой классическими методами. Но эта неопределенность приводит к необходимости ее описания, что, в свою очередь, ведет к аппарату теории вероятностей. Это послужило одной из причин создания концепции субъективных вероятностей, порождаемых механизмом выбора, напоминающим пари, в котором ставка делается на альтернативу, предпочитаемую экспертом в некоторой процедуре сравнения альтернатив. Теперь на смену призраку субъективности пришли действительные проблемы построения адекватных моделей выбора (предпочтения), процедур обработки данных и механизмов принятия решений.

Линейные модели Брэдли-Терри-Льюса (БТЛ) и Тэрстоуна — Мостеллера (ТМ), рассматриваемые Дэвидом, обобщались многими авторами в различных направлениях.

Одним из первых обобщений линейной модели было распространение ТМ-модели на случай «ничьих» в работе [56]. Позднее в работе [301] была предложена модель, основанная на гипотезе о порогах чувствительности [153], как и модель Гленна — Дэвида.

Рассмотрим обобщение модели Рао - Купера. Пусть порог для объектов отражающий способность экспертов различать объекты, Обозначим вероятности (см. гл. 1 книги Дэвида). Предлагается модель причем

Если то получается модель Рао - Купера. Возможен другой подход, основанный на гипотезе о том, что

случайные события и неразличение происходит или не происходит с некоторой вероятностью. Рассмотрим одну довольно общую модель такого типа. Частный случай такой модели был предложен Томпсоном и Сингхом 1315] и развит Бивером и Рао [230], Сингхомчи Гупгой 1309]. Томпсон и Сингх [315] рассматривали два основных психофизических механизма различения объектов — «аддитивный» и «заменяющий» (substitution), предложенные Стивенсом (см. [313]). При использовании предельных теорем эти два механизма приводят к моделям Тэрстоуна и Брэдли-Терри соответственно.

Упомянем о некоторых работах, где изучалась линейная модель. Это работы Дэниелса [253], где изучалась система присвоения очков в круговом турнире, Муна и Пальмэна [288], обобщивших подход Дэниелса. Бюльман и Хубер [247] занимались задачей «корректного ранжирования» в парных сравнениях в духе теории статистических решений. Работу Лемана (см. [244] и [259]) о мощности ранговых критериев можно применить к парным сравнениям, что дает известную БТЛ-модель.

Упомянем еще работы Аткинсона [225], который, следуя книге Кокса [251], рассмотрел логарифмическую разность в логистической модели (т. е. линейной модели с логистической плотностью распределения, частный случай которой — БТЛ-модель)

Другой моделью Аткинсона, альтернативной по отношению к логистической, является

причем предлагается критерий проверки гипотезы

Дэвид лишь упоминает о таком важном моменте, как порядок предъявления пар экспертам, который может оказывать существенное влияние на результат сравнения, вызывая усталость или меняя порог чувствительности. В упоминаемой у Дэвида работе Харриса [73] ТМ-модель модифицируется с учетом порядка представления (во времени или пространстве) объектов путем введения смещения в математическое ожидание разности откликов между двумя стимулами которое равно (при дисперсии

Обобщение БТЛ-модели с учетом влияния предъявления предложено Бивером и Джокхэйлом [228]. Вводятся вероятности предпочтения с учетом порядка предъявления:

т. e. аддитивный параметр прибавляется, когда находится вероятность превосходства первого из предъявляемых объектов, и вычитается для второго.

Модель с мультипликативным увеличением или уменьшением (и параметром) предложена Бивером в обсуждении доклада Брэдли [244].

Упомянем еще работу Шаафсма [306] и исследование Коусгаарда [285], в которых порядок предъявления учитывался наряду с учетом различной способности экспертов к сравнению.

Альтернативой к парным сравнениям служат тройные сравнения, анализ которых иногда представляет значительный интерес, поскольку это шаг от парных сравнений к прямому ранжированию.

Бивер и Рао ([229], [230]) применили психофизический подход Томпсона и Сингха [315] для тройных сравнений и получили модель (1.3.4) — из Дэвида — с обобщением на случай «ничьих». Более подробной является публикация Бивера и Рао [229]; Рей [300] применил модель (1. 4. 2).

При проведении экспериментов парных сравнений явно или неявно предполагается, что имеется некий признак (критерий типа полезности, ценности и т. п.), по которому производится сравнение. Однако часто имеется несколько критериев, по которым требуется производить сравнение (изучение качества продукции, многокритериальные задачи принятия решений [201]). Если в этом случае производятся парные сравнения, то говорят о многокритериальных парных сравнениях. Модель многокритериальных парных сравнений, обобщающая БТЛ-модель, была введена в работе Дэвидсона и Брэдли 1258].

Многокритериальная модель применялась для данных дегустационного эксперимента ([258], [224], [216]).

Дальнейшее изучение упомянутой модели выполнено Дэвидсоном и Брэдли [258], Импри, Джонсоном и Кохом [282], Финбергом и Ларнцем [266]. Другая модель предложена Сеном и Дэвидом [308].

Модели парных сравнений являются в некотором смысле частными по отношению к так называемым моделям «выбора и ценности» (choice and worth) или «вероятностного выбора». Первой из них является модель Льюса [98], описанная в книге Дэвида (см. также [151]). Эти модели интенсивно развивались в последние годы. Одли (см. [244] и [259]) рассмотрел процесс выбора и отбора как динамический процесс во времени, Блок и Маршак [9] развили математическую теорию полезности, связанную с выбором и ранжированием, где основой для парных сравнений служит ранжирование, другой подход принадлежит Бранку [18]. Оба подхода в частных случаях приводят к линейной модели из книги Дэвида. Развитие моделей этого класса дано в работах Тверского ([320], [321]), где имеются ссылки на литературу. Обзор моделей «выбора и ценности» сделан в работах [213] и отчасти [3031.

Обработка данных: ранжирование. У процедуры парного сравнения две основные цели — упорядочение объектов, называемое еще ранжированием, и поиск наилучшего из объектов — лидера, чемпиона и т. п. Первая задача фактически есть задача построения шкалы порядка (или иногда даже метрической шкалы). О второй мы скажем ниже.

При обработке данных в задаче ранжирования исследовались многие пути, среди которых упомянем здесь следующие:

ранжирование максимального правдоподобия ([303], [314], [279], [280], [281], [160] — [162]) с обобщениями на случай равных рангов [311];

медиану Кемени — Снелла ([175], [182], [189], [190], [279] — [281]). Другой подход к этой задаче развит Миркиным Б. Г. ([191] [192]);

правило большинства с ограничениями транзитивности ([183], [191]).

Задача о правиле большинства возникла, видимо, независимо от заботы Кемени — Снелла [175], опубликованной в 1962 г., в работе 237] и была исследована в серии работ [238] и др. (см. [280], [281], 241] - [243]). В книге Миркина Б. Г. [191, гл. 2] задача Кемени — Снелла обобщается на случай, когда экстремум ищется на множестве бинарных отношений.

Поиск «последовательного» упорядочения Слейтера [126], [127]. Подход Слейтера породил многочисленные работы: Томпсона, Римейджа, Сингха, упоминавшиеся выше и являющиеся обобщением, а также работы в теории ориентированных графов, точнее говоря, турниров — см. в первую очередь [210]. Обзоры работ даны Дэвидом [256] и Хьюбертом [280], причем они хорошо дополняют друг друга.

Поиск перестановки с минимальным потенциалом. В работе Буркова и Гроппена [160] формулируется понятие потенциала перестановки для матрицы равного

и указывается на связь задачи о поиске перестановки с минимальным потенциалом и задачи о разрезе на ориентированном графе. Вычислительные аспекты данной задачи обсуждаются как в упомянутой работе, где предложен алгоритм, так и в работах [161], [162].

Перечисленные выше подходы (ранжирование максимального правдоподобия, медиана Кемени — Снелла, правило большинства, поиск перестановки с минимальным потенциалом) и некоторые другие являются частным случаем задачи о квадратичном значении Купманса и Бекмана [284], которая развивалась в экономике независимо от парных сравнений (см. Хьюберт [280], [281]).

Ранжирование объектов и экспертов в соответствии с их точками зрения методами многомерного неметрического шкалирования — Каменский ([172], [173]).

С точки зрения математической статистики в основе обработки данных часто лежит та или иная модель дисперсионного анализа [214].

Турниры и планы. Уже упоминалось, что совокупность парных сравнений для некоторого множества объектов можно рассматривать как турнир; способ организации турнира — как план проведения эксперимента парных сравнений, а теорию графов — как удобный инструмент анализа турниров и их результатов [286].

Одна из основных целей турнира — выбор лучшего игрока. Этому вопросу посвящена гл, 6 в книге Давида. В дальнейшем исследования продолжены в работах Нарайаны и Шидека ([294], [295]). Во второй части работы [295] изучается задача проверки гипотезы эквивалентности

(одинаковой силы) игроков турнира (т. е. объектов) против альтернативы о наличии одного сильнейшего игрока. Предполагается независимых повторов («кругов»). В работе изучается также задача отбора сильнейшего игрока, причем так же, как и для проверки гипотез, используются как обычный, так и байесовский подход. Турниры как полные ориентированные графы [211] есть объект интенсивных исследований в теории графов и комбинаторике, где получены многочисленные результаты ([287]-[290], [2181, 1219], 1262], [263], [220], [221]), имеющие интересную интерпретацию в рамках парных сравнений.

Задаче планирования экспериментов парных сравнений посвящена обширная литература, лишь малая часть которой упомянута в гл. 5 книги Дэвида. Укажем в этой связи ряд дополнительных источников ([184] - [186], [254], [255], [257], [258], [265], [283]).

Любопытно отметить, что если планирование эксперимента полезно в проведении парных сравнений, то и парные сравнения весьма полезны при проведении конкретных работ с применением планирования эксперимента. Они наряду с ранжированием широко используются на этапе предпланирования при выборе откликов и факторов 1148].

В последние годы сочетание идей теории турниров и теории планов породило ряд новых направлений, например анализ турниров с гандикапом (форой, которая дается для уравнивания шансов) [288].

Парные сравнения, множественные сравнения и таблицы сопряженности. В предыдущих разделах рассматривались модели БТЛ (1952 г., 1959 г.) для парных сравнений, Льюса — для вероятностного выбора (множественных сравнений), Пендерграсса и Брэдли [115] — для множественных сравнений, Сена — Дэвида [308] и Дэвидсона — Брэдли [258] — для многокритериальных парных сравнений и др. Рассматривая данные парных сравнений как категорнзованные данные и представляя их в виде различным образом составленных таблиц сопряженности ([91], [92]), можно облегчить анализ результатов парных сравнений ([282], [266]).

Парные сравнения сейчас в некоторой степени представляют собой пример того, как, действуя параллельно методами математической статистики (в том числе и свободными от распределения, непараметрическими методами [244]) и так называемыми методами «анализа данных» [280], можно продвинуться достаточно далеко в направлении создания математического аппарата для обеспечения практических потребностей. При таком развитии в двух направлениях выявляются многочисленные и иногда довольно глубокие связи между совершенно различными на первый взгляд экономическими, техническими и психологическими задачами [192], [281].

Понимание таких возможностей приводит к общим концепциям, что весьма важно само по себе.

Заключение. Таким образом, нам представляется, что парные сравнения, как и сопутствующие им задачи, ожидает большое будущее. Они находят и будут находить применение во все более широком спектре областей человеческой деятельности — везде, где требуются суждения компетентных людей и где эти суждения нуждаются в научных

формах фиксирования: квантификации, классификации, шкалировании.

Книга Дэвида, которую вы прочитали, — важный шаг на пути прогресса в этих направлениях.

БИБЛИОГРАФИЯ

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)