5.3. Выявление несогласованности суждений экспертов

Проверка на согласованность (непротиворечие) ответов экспертов - неотъемлемая часть почти всех методов принятия решений. Ошибки в ответах могут быть как случайными, так и из-за некорректно поставленных вопросов (например, при сравнении очень близких по важности объектов или трудно сравниваемых между собой). При сложных иерархиях своевременно выявленная несогласованность оценок экспертов позволит избежать некорректных результатов ранжирования альтернатив, обеспечив высокий уровень достоверности анализа проблемной ситуации.

Согласованность отношения, в общем случае, понимается как численная (кардинальная ) и транзитивная (порядковая согласованность).

Совершенной согласованности достичь трудно, поэтому существуют различные подходы к оценке степени несогласованности.

В методе анализа иерархий определяется только кардинальная согласованность. Доказывается, что положительная обратносимметричная матрица согласованна тогда и только тогда, когда вычисляется из равенства , где w - главный собственный вектор. В [94] предлагается следующий алгоритм для вычисления (умножить матрицу A на вектор w, затем полученный вектор поделить на соответствующие компоненты w. Среднее арифметическое полученных значений и даст приблизительно ).

В общем случае . Для оценки согласованности вычисляется отклонение от согласованности - ИС (индекс согласованности) — , где - главное собственное значение обратно-симметричной матрицы. Индекс согласованности, сгенерированный случайным образом, называют случайным индексом (СИ). Отношение , где - средний случайный индекс матрицы того же порядка, что и исходная, называют отношением согласованности ОС. Значение ОС, меньшее 10% (в практическом применении допускается значение, не превышающее 20%) считается приемлемым.

В [93, 94] утверждается, что нетранзитивность предпочтений может быть естественным явлением, а не следствием ошибки в суждениях или заблуждениях. В ряде случаев нетранзитивности не удается избежать.

Следует отметить, что отношение согласованности хотя и позволяет выявить противоречивость в суждениях экспертов, но является лишь количественным показателем такой противоречивости. В методе анализа иерархий

при рекомендуется пересмотреть суждения. Существенным недостатком МАИ является в этом плане невозможность обратить внимание экспертов на те вопросы, которые вызвали такую несогласованность.

В комбинированном методе принятия решений вычисляется ОС, и если оно неудовлетворительно с точки зрения ЛПР, то предлагается помощь в построении отношения как транзитивно, так и кардинально согласованного.

В [81] отношение R называется транзитивным, если . В зависимости от введенной операции произведения нечетких отношений выделяется минмаксная транзитивность, максминная, максмультипликативная. Под транзитивностью в методах принятия решений на базе нечеткой логики подразумевается максминная транзитивность. Максминнная транзитивность накладывает следующее условие на функцию принадлежности нечеткого отношения . Как видно, данное усло равнозначно тому, что каждый элемент нечеткого отношения не меньше соответствующего ему элемента максминного произведения нечеткого отношения самого на себя.

Если рассматривать такое определение на конкретном примере нечеткого отношения: , то логика его достаточно очевидна.

Например,

Так как все перечисленные условия должны выполняться одновременно, то должно быть не меньше, чем наибольшее из , т.е. . Такое соотношение выполняется для . Аналогичная проверка производится для всех .

Для приведенной матрицы ее максминное произведение равно

Серым цветом выделены те элементы, которые не меньше им соответствующих в исходной матрице. Таким образом, в этом случае наблюдаем три нарушения транзитивности бинарного отношения.

Но такой способ проверки порядковой согласованности не является приемлемым. Так, бинарное отношение предпочтения, составленное на основе количественных данных, оказалось нетранзитивным согласно рассмотренному определению с шестью нарушениями транзитивности.

В качественных методах принятия решений рассматриваются некоторые подходы к получению транзитивных отношений. Один из них представляет собой процедуру проверки и корректировки ответов эксперта в процессе проведения парных сравнений. После каждого проведенного экспертом сравнения пары объектов проводится распространение полученной информации о сравнении объектов по транзитивности (транзитивное замыкание).

Если эксперту предъявляются объекты и эксперт отвечает, что x, предпочтительнее т.е. (связаны отношением предпочтения), тогда для таких, что или (связаны отношением безразличия, т.е. имеют равную важность), следует .

Если эксперт отвечает, что x, равноценна , т.е. , тогда для таких, что следует , а для таких, что следует .

Далее эксперту предъявляется следующая пара объектов, для которых отношение еще не определено. После получения ответа строится транзитивное замыкание и т.д. до тех пор, пока отношение не будет установлено для всех пар объектов из X. При такой процедуре опроса нарушений транзитивности в ответах не возникает.

В качественных методах принятия решений при этом (как следует из приведенных примеров) количественная шкала натуральных чисел состоит всего из трех возможных оценок сравнения альтернатив . Поэтому в данных методах проверяется только транзитивная согласованность. В комбинированном методе принятия решений будем считать, что если если , то , если то . Так определенные отношения предпочтения и безразличия объектов, конечно, не обеспечат кардинальную согласованность отношений с базовой количественной шкалой но помогут эксперту

избежать порядковых противоречий в оценках. Для обеспечения кардинальной согласованности процедуру проверки транзитивности можно модифицировать таким образом, чтобы одновременно с транзитивностью проверять и численную согласованность, т.е. осуществлять проверку .

Приведем пример процедуры помощи эксперту при формировании бинарного отношения сравнения объектов. Для определенности в качестве объектов рассмотрим декоративные стеновые материалы (см. приложение 1-А, изделия 20, 22, 24, 26).

Исходная матрица рефлексивна .

Сначала эксперту (например, потребителю) предлагается для сравнения произвольная пара объектов. Например:

1) Какое изделие для вас более предпочтительно. Определите по предложенной шкале степень предпочтения.

Предположим, что эксперт ответил на вопрос следующим образом:

Такая оценка по количественной шкале соответствует 4. Т.е. . Таким образом, .

Для построения транзитивного замыкания необходима еще одна оценка эксперта. Желательно, чтобы такая оценка связывала бы второй объект с каким-либо другим, отношением предпочтения или безразличия или .

Таблица 5.1. Исходная матрица сравнений объектов

Поэтому следующий вопрос эксперту формируется таким образом, чтобы установить предпочтительность второго объекта по отношению к 3-му или 4-му.

2) Какое из изделий предпочтительнее - или .

Затем предлагается оценить степень такого предпочтения, как это было сделано в 1-ом вопросе.

Предположим, эксперт определил и по его ответу (оценка и соответствующая ей выделены серым цветом в табл. 3.1.).

В этом случае можно установить транзитивное замыкание: из следует . Причем, для кардинальной согласованности должно быть равно . Так как , то должно быть равно 20, но так как шкала 9-балльная, то от эксперта для хорошей согласованности следует ожидать оценку хотя бы близкую к 9. Формально распространение информации происходить не должно, так как оно предопределяло бы отсутствие ошибок в ответах эксперта, в связи с чем возникали бы затруднения в оценке предпочтительности. В качественных методах затруднений в количественных оценках при транзитивном замыкании не происходит, так как их всего используется три.

Для избежания формального транзитивного замыкания эксперту предлагается вопрос: какое из изделий предпочтительнее - или .

Если полученный ответ совпадает с транзитивным замыканием , то считается, что проверка подтвердила правильность полученной от эксперта информации. Если имеется расхождение, то рекомендуется пересмотреть предыдущие ответы или исправить только что полученный.

Приведем дальнейший опрос эксперта с указанием оценки по количественной шкале.

3) Какое из изделий предпочтительнее - или Ответ: . (Серым цветом в таблице 3.2. помечены транзитивные тройки оценок). Такая оценка удовлетворяет как транзитивной согласованности, так и кардинальной.

Чтобы определить а 14, перебираются все возможные уже включенные в отношение пары объектов, из оценки сравнения которых можно заранее сделать вывод об оценке . Как убеждаемся, такие оценки еще полностью не сформированы, т.е. для ответа предыдущие ответы еще не предопределили какое-либо отношение. Поэтому ответ предлагается самостоятельно выбрать самому эксперту.

Таблица 5.2. Заполненное бинарное отношение сравнения альтернатив

4) Какое из изделий предпочтительнее . Ответ:

5) Какое из изделий предпочтительнее - или .

Для определения элемента необходимо рассмотреть пары элементов . Так как элемент еще не определен, то учитываем только .

По данным значениям транзитивное замыкание осуществить невозможно, но приблизительно, учитывая стремление к кардинальной согласованности, можно определить значение , т.е. .

Предположим, что эксперт ответил ; такая оценка близка к той, которая ожидалась.

6) Какое из изделий предпочтительнее - или .

Определить элемент возможно из комбинаций элементов: . Обе комбинации не помогают определить порядковую согласованность, но относительно кардинальной согласованности можно сделать вывод о приблизительном равенстве элемента среднему арифметическому .

Ответ эксперта является приемлемым.

Отношение согласованности данной матрицы равно 12%. Чтобы его уменьшить следует более строго придерживаться советов по формированию согласованного отношения.

Проведем такую процедуру еще раз с целью получения более согласованного отношения.

Пусть . Тогда должно быть близко к 9. Рекомендуется оценка 8, 9. Предположим эксперт не считает нужным определять предпочтительность оценкой 9 и придерживается мнения, что . Далее заполняется самим экспертом. Для оптимального определения установим все возможные комбинации, влияющие на данную оценку: . Если эксперт предлагает оценку 3, как это было в первый раз, то ему будет рекомендовано оценить . Для определения рассмотрим Эксперту рекомендуется выбрать оценку 1 или 2. Предположим, что эксперт оценивает преимущество по сравнению с оценкой 2. Так заполненная матрица имеет отношение согласованности ОС=9%.

Формализуем процедуру построения согласованного отношения с учетом порядковой и транзитивной согласованности и оптимальной организацией заполнения бинарного отношения оценками экспертов.

Требуется сформировать бинарное отношение R такое, что - оценка предпочтительности объекта х, по отношению к объекту .

Исходная матрица для построения такого отношения - такая, что .

1. Экспертом сравниваются ; делается вывод о предпочтительности

объектов и формируется оценка .

2. Аналогично экспертом сравниваются .

3. Предопределяется оценка .

Если возможно, то выполняется транзитивное замыкание (см. (1), (2)) - делается вывод о том, что или .

Определяется оценка согласно требованиям кардинальной согласованности: .

4. Экспертом сравниваются ; делается вывод о предпочтительности объектов и формируется оценка или или .

При этом сравнивается предпочтительность объектов построенная на основе транзитивного замыкания и определенная экспертом. Затем сравнивается . В случае нарушения транзитивной или кардинальной согласованности эксперту предъявляется требование пересмотра суждений. При этом, если или , то эксперту предлагается оценить предпочтительность объекта относительно таким образом, чтобы было близко к 9 или 1/9 соответственно.

5. Экспертом сравниваются (см. п.1).

6. Если возможно, то выполняется транзитивное замыкание относительно пары и пары Определяется оценка (см. п.3) и оценка . И т.д., аналогично п.4.

Схематично последовательность опроса эксперта можно представить на рис. 5.3. Стрелками на схеме указана последовательность предъявления эксперту вопросов парного сравнения. Серым цветом помечены ячейки, оценки в которых формирует эксперт. В других ячейках оценки могут быть сформированы на основе транзитивного замыкания (стрелки с подписью Тр.). Такая последовательность опроса является наиболее оптимальной по количеству возможных проверок ответов экспертов на основе транзитивного замыкания.

Рис 5.3. Схема последовательности предъявления парных сравнений эксперту

Таким образом, эксперт самостоятельно формирует оценки (они не могут быть предопределены) , где .

После каждой оценки проводится транзитивное замыкание - распространение информации о предпочтительности объектов на оценки . На основе стремления к кардинальной согласованности определяется по формуле , где m - количество суммируемых пар оценок (учитываются только те пары которые уже сформированы - ). Условие определено последовательностью опроса эксперта.

Далее информация о предпочтительности и сформированные оценки сравниваются с полученными от эксперта, и при необходимости снова происходит обращение к эксперту для пересмотра оценок.

Алгоритм построения согласованного отношения приведен на рис. 5.4.

(см. скан)

Рис. 5.4. Алгоритм построения согласованного отношения