§ 7.2. Процедура выработки группового решения

Практика и теория экспертного метода имеют весьма обширную библиографию. Достаточно указать, что только один краткий обзор [28] содержит список 313 работ, явно не охватывающий всей относящейся к этому вопросу литературы.

Выбор конкретного метода экспертных оценок зависит от характера решаемой практической задачи и ряда условий, которые при этом нужно соблюдать. Общие вопросы, связанные с таким

выбором детально обсуждаются в упомянутом обзоре. Здесь мы кратко остановимся на одном аспекте, связанном с методикой организации экспертного оценивания.

Методики проведения экспертиз, как правило, не содержат в себе операций (тестов, процедур и т. п.), выполнение которых гарантировало бы (хотя бы с достаточной степенью уверенности), что групповое решение будет удовлетворять тем или иным, заранее оговоренным требованиям, обладать заранее обусловленными свойствами. Обстоятельство это, как представляется, вырастает в большую и самостоятельную проблему. В практике экспертного метода нередко встречаются ситуации, когда практически ни один из имеющихся в распоряжении исследователя методов обработки не дает удовлетворительных результатов. Например, результаты применения методов факторного анализа или многомерного шкалирования не поддаются разумной интерпретации; мажоритарные правила не дают транзитивных отношений; распределение частот рангов близко к равномерному; селекция экспертов с целью формирования «согласованной» группы не позволяет отобрать нужного минимального количества экспертов; ядра состоят только из пустых отношений и т. д. Только «механическое» правило нахождения группового, решения в метрическом подходе всегда работает безотказно: любая из просмотренных тем или иным способом точек, дающая минимум суммы расстояний или квадратов расстояний до исходных точек, может быть принята в качестве группового решения.

По своему существу рассматриваемая ниже идея использования эталонных объектов очень близка к механизму, обусловливающему существование невырожденных решений. Последнее означает, что во множестве рассматриваемых объектов существует такое его подмножество, которое мы будем называть эталонным, что предпочтения экспертов на нем полностью совпадают. При этом все эксперты согласны так же и с тем, что остальные, не входящие в это множество элементы, одинаковым образом группируются в классы эквивалентности, а последние одинаковым образом располагаются (упорядочиваются) между элементами эталонного множества.

В плане дальнейшего развития геометрического подхода эти соображения были использованы для построения процедуры экспертного оценивания, которая способствовала бы выработке группового решения, удовлетворяющего принципу Парето.

Процедурой выработки решений будем называть конечную последовательность операций (операций в широком смысле этого слова), ориентированных на получение решений, обладающих наперед заданными свойствами. В терминах геометрического подхода процедура выработки решения должна быть ориентирована на получение в общем случае невырожденных групповых

отношений, удовлетворяющих принципу Парето на согласование индивидуальных предпочтений.

Рассмотрим одну из возможных процедур. Мы будем различать в этой процедуре итерации и шаги. Каждая итерация состоит из двух шагов. Номер итерации будет обозначаться индексом над символами отношений и множеств.

5-я итерация. На первом шаге экспертам предъявляется все множество объектов для выработки индивидуальных предпочтений, и в результате этого предъявления в пространстве получается некоторое множество точек Xе — множество отношений индивидуального предпочтения. Ядро этого множества обозначим через а через максимальное отношение из Отношение представляет собой упорядоченное разбиение оцениваемой совокупности объектов на несколько классов эквивалентности, в том числе может быть вырожденным отношением, т. е. полной эквивалентностью.

Пусть теперь мы имеем произвольное невырожденное отношение линейного квазипорядка Отношение будем называть опорным отношением. Рассмотрим отношение безразличия для которое будем обозначать через Этому отношению соответствует разбиение множества объектов А на классы: где I — число классов.

На втором шаге 5-й итерации процедуры каждому эксперту классы объектов ? предъявляются раздельно, и на каждом из них эксперты определяют свои предпочтения. Таким образом совокупность предпочтений эксперта на шаге может быть представлена набором предпочтений на каждом из классов разбиения множества

Далее возможны два пути. Первый, наиболее трудоемкий по объему вычислений, состоит в том, что дальнейшему анализу подвергаются отношения, представляющие собой комбинацию предпочтений различных экспертов на данных I классах: Очевидно, чтой Всего таких отношений может быть составлено где число экспертов. Полученный набор отношений принимается за исходное множество для первого шага последующей итерации.

Второй путь состоит в том, что в качестве элементов множества принимаются упорядочений каждое из которых составлено из предпочтений одного из экспертов на всех классах разбиения множества А.

итерация начинается с построения ядра множества отношений индивидуального предпочтения полученных на втором шаге предыдущей итерации, а затем повторяются все

изложенные выше операции. Формально процедура заканчивается при выполнении условия

Остановимся более подробно на понятии опорного отношения. Требование наличия невырожденного решения означает или совпадение экспертных предпочтений относительно, как минимум, одной пары объектов из А, или то, что «в среднем» эксперты считают два объекта неразличимыми. Использование опорного отношения призвано способствовать выполнению этого условия. Выбор этого отношения может производиться с учетом специфики решаемой задачи и степени согласованности экспертов на первом шаге каждой итерации. Кроме того, опорное отношение можно задавать извне, т. е. на объектах, которые в общем случае непосредственно не входят во множество А подлежащих экспертизе объектов. Упорядочение объектов опорного отношения в этом случае может определяться, например, предпочтениями лица, принимающего решение; объективными данными, возможно даже теми, которые не учитываются в самой экспертизе; результатами подобных же экспертиз, в которых согласованность экспертов оказалась удовлетворительной для организаторов экспертизы; вспомогательной операцией, как, например, предваряющее экспертизу разбиение оцениваемых объектов на 2-3 упорядоченных класса, и последующим формированием опорного отношения из 2-3 объектов, попавших в пересечение (по разбиениям всех экспертов), и т. п.

Нужно отметить, что наличие тем или иным образом сформированного опорного отношения полностью не гарантирует появление невырожденных групповых решений. Это обстоятельство может явиться, например, следствием того факта, что объекты опорного отношения, будучи строго упорядочены между собой, оцениваются экспертами как неразличимые в сравнении с частью объектов из оцениваемой совокупности, или предпочтения некоторых экспертов на парах, содержащих объекты из и из диаметрально противоположны. В этом случае, учитывая специфику задачи, можно или сменить объекты в опорном отношении, или, оставив те же объекты, подкорректировать порядок на них, или, наконец, заменить часть экспертов.

В практических приложениях встречаются такие ситуации, когда до экспертизы или уже после нее становится очевидным, что множество оцениваемых объектов или состав экспертов неоднородны или и то и другое одновременно. Иллюстрацией этого может служить, например, экспертиза НИР в одной тематической комиссии, когда, скажем, одна часть работ оказалась чисто теоретического характера, а другая — прикладного. К тому же по пристрастиям к работам того или иного характера можно, очевидно, разделить и экспертов в комиссии. Не останавливаясь на методах выявления этих факторов, предположим, что они нами

установлены. В этом случае представляется разумным на классах разбиения всей совокупности оцениваемых объектов искать, «под-ядра», т. е. ядра индивидуальных предпочтений для каждой в отдельности группы экспертов-единомышленников. Групповые решения каждой группы (подядра) могут быть объединены опорным отношением. Возможность реализации этой идеи определения подядер заложена в первом из путей комплектования наборов предпочтений, рассматриваемых на втором шаге процедуры выработки решения.

Ниже описываются две конкретные процедуры выработки решения, первая из которых носит экспериментальный характер, а вторая была применена при определении признаков для оценки методов прогнозирования выходного потока на обогатительной фабрике и выбора самого метода прогнозирования.

Процедура I. Оценка художественных произведений. Объектами оценки в первой процедуре выработки решений служили литературные произведения детективного жанра. Цель экспертизы состояла в том, чтобы от данной группы экспертов получить групповое упорядочение оцениваемых объектов по общему впечатлению об их достоинствах. В группу оцениваемых объектов было подобрано 8 произведений, группа экспертов состояла из 7 человек. Предварительная экспертиза отобранных произведений дала набор упорядочений (таблица 7.7), на основе которого оказалось невозможным получить невырожденное групповое решение с нужными свойствами.

Таблица 7.7

Для построения опорного отношения был составлен набор из 7 произведений с таким расчетом, чтобы в нем были как явные «лидеры», так и явные «аутсайдеры». Объекты этой группы упорядочивались также по общему впечатлению. В таблице 7.8 приведены экспертные оценки дополнительной группы объектов и их ядро.

На основе групповых решений, полученных на объектах дополнительной группы, было составлено опорное отношение из четырех объектов:

На первом шаге процедуры экспертам предъявлялись все 8 объектов оцениваемой совокупности и сообщалось опорное отношение, между объектами которого эксперты должны были расставлять объекты из А.

Таблица 7.8

В таблице 7.9 приведены экспертные оценки, полученные после этого предъявления, и их ядро (буквами в таблице обозначаются объекты опорного отношения).

Таблица 7.9

Как видно из этой таблицы, наиболее «тонко различающее» оцениваемые объекты упорядочение, помещенное в последней строке таблицы 7.9, представляет собой разбиение 42 объектов на 5 классов:

Без объектов опорного отношения оба решения из ядра имеют вид:

На классах (2, 3, с) и (4, 5, ,6, е) разбиения была проведена следующая итерация. Поскольку внутри каждого класса объекты оказались неразличимыми по общему впечатлению, то для каждого класса были введены дополнительные признаки: объекты первого класса оценивались по «занимательности сюжета», а второго — «по убедительности метода раскрытия преступления». Ядро предпочтений для первого класса «выделило» на первое место объект 2, а для второго имело вид Окончательное групповое решение имело вид

Таким образом, к характерной особенности этой процедуры можно отнести использование дополнительных объектов при построении опорного отношения и введение дополнительных признаков на второй итерации для увеличения «разрешающей способности» группового решения, получаемого на второй итерации.

Процедура II. Выбор характеристик. Объектами оценки во второй процедуре служили восемь характеристик методов прогнозирования. Учитывая относительно большое количество характеристик, а, следовательно, и трудность сравнения алгоритмов по стольким показателям, а также различную природу самих характеристик (от чисто количественных, объективных, таких, как «точность прогноза», до качественных, таких, как «эксплуатационные характеристики») была проведена экспертная оценка важности характеристик с целью выделения наиболее важных из них. Оценка производилась следующим образом. Экспертам предлагалось разбить все характеристики на две группы, помещая в первую из них наиболее важные характеристики, а во вторую — наименее важные. Результаты этого этапа экспертизы приведены в таблице 7.10.

Таблица 7.1

Непосредственный анализ экспертных оценок таблицы 7.9 показывает, что данный набор характеристик можно разбить на три группы. К первой относятся характеристики 5 и 5, признаваемые всеми без исключения экспертами как наиболее важные, к

третьей — характеристика 7, отнесенная всеми экспертами в группу менее важных, и ко второй группе — характеристики относительно которых мнения экспертов разошлись. В силу этого из каждой группы было выбрано по одной характеристике, из которых составилась эталонная группа из трех упорядоченных по важности характеристик На втором этапе экспертизы каждый эксперт ранжировал характеристики, расставляя их между эталонными. Результаты этого этапа экспертизы приведены в таблице 7.11.

Таблица 7.11

Эта группа экспертных оценок была обработана с целью выделения ядра. В результате получено два упорядочения, помещенных в последних строках таблицы. Таким образом, в числе наиболее важных оказались характеристики 5, 5, 4 и 6.