Глава VII. НЕКОТОРЫЕ ВОПРОСЫ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ ГЕОМЕТРИЧЕСКОГО ПОДХОДА

§ 7.1. Анализ экспертиз НИР

Алгоритм «Ядро» был использован для анализа трех экспертиз НИР, проводившихся последовательно друг за другом на ежегодных научных конференциях. Экспертное оценивание НИР и обработка оценок производились по методике [27], учитывающей специфику набора управляющих воздействий, применявшихся по результатам экспертиз. Качество НИР характеризовалось по двум аспектам, каждый из которых описывался 3—4 признаками.

Оценки по признакам выставлялись в специальным образом устроенных балльных шкалах. Полезно различать два вида балльных оценок: к первому виду относятся оценки, производимые при наличии объективного критерия, ко второму — когда не только нет общепринятых эталонов, но и сомнительно даже наличие некоего единственного объективного критерия, субъективным отражением которого являются оценки. Во втором случае оценки рассматриваются выполненными в шкале порядка. С этой точки зрения на основании балльных оценок составлялись совокупности упорядочений, которые затем обрабатывались программой «Ядро». Результаты этой обработки сравнивались с упорядочениями, соответствующими агрегированным показателям НИР или по аспектам, или в целом, или средним оценкам по одному из признаков.

Первая экспертиза НИР. По результатам первой экспертизы были составлены 18 совокупностей из пяти (по числу экспертов) упорядочений каждая, полученных на основе оценок НИР по трем признакам в шести научных секциях. В каждой секции докладывалось в среднем по 11 работ. Анализ этих совокупностей имел целью выяснить, имеется ли среди экспертов согласованность в смысле принципа Парето по использованным для оценки признакам. Единственное невырожденное групповое решение

имело вид , т. е. представляло собой разбиение 11 объектов на два упорядоченных класса, причем класс наиболее предпочтительных объектов состоит из одного объекта. Практически во всех комиссиях по всем трем признакам оказалось невозможным построить искомые групповые решения.

По результатам этой экспертизы исследовался также вопрос о том, как усреднение экспертных оценок влияет на согласованность экспертных суждений в смысле принципа Парето. По каждому из трех признаков в отдельности были рассчитаны средние (по числу экспертов в секции) арифметические балльные оценки для каждого объекта. На их основе были составлены шесть совокупностей из трех упорядочений каждая. Результаты обработки приведены в таблице 7,1. В этой таблице для каждой секции в первой строке указаны отношения из ядра, а во второй — отношение, соответствующее агрегированным показателям, принимавшееся за «истинное».

Таблица 7.1

Приведенные в таблице 7.1 допустимые групповые решения представляют собой в среднем разбиение оцениваемой совокупности объектов на 2-3 класса. Наиболее «тонко различающие» объекты групповое решение, составляющее ядро экспертных суждений первой комиссии, разбивает объекты на пять классов. Оно хорошо согласуется с упорядочением, полученным по агрегированным оценкам. Это может свидетельствовать или о том, что в дайной комиссии суждения экспертов по отдельным признакам

определялись совокупными (агрегированными) достоинствами работ, или связано с тем, что состав работ сам по себе таков, что достоинства работ по агрегированному показателю монотонно связаны с частными признаками (а экспертная комиссия в целом довольно чутко отреагировала на это).

Отметим характер использования алгоритма в последнем случае: упорядочения, составившие ядро, представляют собой, по существу, новый фактор, агрегирующий осредненные экспертные предпочтения по трем «чистым» признакам. При этом упорядочения, соответствующие частным признакам, являются «вариациями» упорядочения, составленного по агрегированным показателям.

Вторая экспертиза НИР. По результатам проведенного анализа в методику экспертного оценивания был внесен ряд изменений. Одно из них было связано со способом назначения балльных оценок и имело целью создать предпосылки для одинаковой «настройки» экспертов, т. е. для приведения их систем субъективных ценностей к некоторой, по возможности одинаково понимаемой системе. С этой целью во второй экспертизе на шкалах задавались оценки «эталонных» объектов, одним из которых, например, служило представление экспертов о типичной работе в определенной научной школе.

Оценивание НИР на этот раз производилось по четырем частным признакам и одному обобщенному признаку, т. е. по совокупному представлению о достоинствах НИР. Оценки по последнему признаку эксперты выражали сразу в виде ранжировки работ.

Таблица 7.2

Это позволило подвергнуть проверке гипотезу о том, что у эксперта в процессе работы складывается некоторое общее представление о совокупных достоинствах оцениваемых работ, которое находит отражение в ранжировке по обобщенному признаку и составляет ядро упорядочений по «чистым» признакам.

Для иллюстрации того, как проявляется этот феномен, приведем один пример. В верхней части таблицы 7.2 выписаны

упорядочения по четырем частным признакам, а в нижней, отделенной чертой части, — соответствующее им ядро. Восьмой объект в этой комиссии был третьим эталонным объектом («типичная работа»). Как видно из самой таблицы, упорядочения объектов по частным признакам у этого эксперта варьируются вокруг упорядочения, представляющего собой разбиение оцениваемого набора объектов на три упорядоченных класса эквивалентных друг другу объектов.

Таблица 7.3

Теперь обратимся к таблице 7.3. В ней по сравнению с данными таблицы 7.2 добавлено еще одно упорядочение оцениваемых работ по совокупному представлению об их достоинствах, полученное от того же эксперта. Ранги эталонного объекта (8) отсутствуют, поскольку он не принимался во внимание при оценивании по обобщенному признаку. Ядро теперь состоит из двух упорядочений. Первое совпадает с упорядочением, составляющим ядро при четырех признаках (табл. 7.2). Второе упорядочение как бы «уточняет» первое и представляет собой разбиение, уже довольно тонко «различающее» оцениваемые НИР: 7 работ разбиваются на 4 упорядоченных класса. Из непосредственного оценивания видно, что это упорядочение очень «близко» к упорядочению по обобщенному признаку.

Обратимся теперь к таблице 7.4. В этой таблице приведены невырожденные ядра по результатам обработки экспертных оценок в комиссии № 3. В ней выписаны четыре упорядочения, каждое из которых составило ядро соответствующей совокупности упорядочений. Первые три упорядочения получены по оценкам, которые три эксперта проставили НИР но четырем частным признакам. Четвертое упорядочение составляет ядро по оценкам НИР всеми экспертами комиссии по одному частному признаку.

Как видно из этой таблицы, в «середине» исследованных совокупностей экспертных суждений лежит довольно «грубое» разбиение оцениваемого набора объектов на два упорядоченных

класса эквивалентных друг другу объектов. Аналогичные результаты получены по данным комиссии № 2.

Проведенный анализ экспертных оценок экспертизы НИР показал общее повышение примеров согласия в смысле принципа Парето, и, хотя не все исследованные совокупности упорядочений дали интересные, невырожденные решения, однако даже в экспертизе, по своей методике не ориентированной на получение групповых решений, удовлетворяющих принципу Парето, мы наблюдаем интересные примеры согласованности в исследуемом здесь смысле.

Таблица 7.4

Третья экспертиза НИР. Если на данных второй экспертизы геометрический подход применялся для проверки гипотезы о механизме многопараметрического индивидуального оценивания, то данные последней экспертизы были использованы для дальнейшего исследования механизма «группового» оценивания.

На основе агрегированных показателей научно-исследовательских работ, подсчитанных для восьми комиссий, было составлено 16 групп (по 8 для каждого из двух аспектов) — в среднем из семи упорядочений каждая. Только одна группа упорядочений дала искомое решение. Таким образом, совокупности агрегированных показателей, как и в предыдущих экспертизах, оказались непригодными для построений коллегиальных решений, удовлетворяющих принципу единогласия Парето.

Другая картина наблюдается при анализе упорядочений, соответствующих средним оценкам признаков для каждого аспекта в отдельности. Как видно из таблицы 7.5, в большинстве случаев были получены коллективные решения.

Близкие к приведенным в таблице 7.5 результаты были получены (табл. 7.6) при анализе пар упорядочений, полученных по агрегированным показателям с учетом стандартных отклонений для каждой работы, рассчитанных по формуле

где согласованная по эталону оценка работы по признаку у -го эксперта, коллективная оценка по признаку, число экспертов в данной комиссии.

Таблица 7.5

Таблица 7.6

Эти данные свидетельствуют о том, что учет стандартных отклонений дает возможность получать искомые групповые решения, хорошо согласующиеся с упорядочениями, соответствующими агрегированным (по аспектам) показателям.