Глава 7. СМЕЖНЫЕ ВОПРОСЫ

7.1. ОТБОР ЭКСПЕРТОВ

До сих пор в наших исследованиях мы не обращали внимания на практически важную задачу выбора группы экспертов. На этот выбор, конечно, влияют такие факторы, как стоимость эксперимента и наличие подходящих экспертов. Еще более важный фактор — цель эксперимента парных сравнений, для которого отбираются эксперты.

Изучать предпочтения в «полевых условиях» надо в большой комиссии потребителей, представляющих популяцию, которая нас интересует, а для выявления тонких различий в лабораторных условиях и установлении стандартов качества привлекается небольшая группа экспертов.

Более подробно о комиссиях потребителей мы поговорим в § 7.2. Что касается экспертных групп, то первоначальный интерес представляет выявление различий между объектами, одно или более из которых могут быть «стандартными». Должна рассматриваться каждая попытка определить тип различия. В пищевой промышленности отбор экспертов обыкновенно основывается на простых тестах, таких, как парный, тройной и двойной-тройной. До обсуждения мы отметим, что они включают лишь два различных типа объектоь Чтобы охватить широкий диапазон, экспериментатор может организовать сбалансированный эксперимент парных сравнений с несколькими объектами. Следует выбирать экспертов с наименьшим числом циклов, если нет априорного упорядочения, или с наименьшим числом разделений (§ 2.1) плюс циклы, если есть такое упорядочение.

Ранжироьание [143] и приписывание очков [44] также могут использоваться как методы отбора, но это представляется менее желательным, когда последующие эксперименты проводятся путем парных сравнений (см. также [10]).

Парный, тройной и двойной-тройной тесты

При парном тесте два различных объекта представляются эксперту. Один из них заведомо «лучший» по некоторому признаку, и верный ответ получается, если эксперт опознает этот объект. Другие

два теста включают три объекта, два из которых близки. Назовем их и пусть означает непарный объект. В обоих случаях эксперт пытается указать в двойном-тройном тесте он дополнительно устанавливает идентичность Можно видеть, что вероятность верного ответа вполне случайна и равна для парного и двойного-тройного тестов и для тройного теста.

Несколько свойств этих тестов были проверены в прекрасной работе [142], которая местами слишком сокращена со ссылкой на ограничение объема. Дальнейшие детали даны у Дэвида и Трайведи [30]. Пусть наблюдаемые ценности объектов равны соответственно Юэре предполагает фактически, что верна линейная модель и что наблюдаемые ценности есть непрерывные независимые случайные величины. Без потери общности мы можем считать лучшим объектом. Правильные ответы получаются, если

Обозначим соответствующие вероятности через и Для распределенных нормально и распределенной нормально мы имеем

где стандартная нормальная функция распределения и Можно показать, что

и (упражнение 7.1)

Юэре также получил соответствующие выражения для случая, когда у распределены равномерно с выписанными выше математическими ожиданиями и дисперсиями (упражнение 7.2). Результаты как функции от 6 показаны на рис. 7.1 и неожиданно близки для двух распределений. Если на мгновение мы сочтем три размещения средством выявления различий между двумя похожими объектами (а не средством выбора экспертов), то мы сможем сравнить их действие,

проверяя нуль-гипотезы против соответствующих альтернатив Предположим, что число повторений Таким образом, функции мощности указанных трех биномиальных критериев можно легко найти с помощью нормальной аппроксимации биномиального распределения. Преимущество за парным тестом. Так, например, на -ном уровне значимости разность а выявляется с вероятностью 0,95 парным тестом, соответствующие вероятности для других тестов меньше 0,5.

Рис. 7.1. Вероятность верного ответа. Из работы [142], с разрешения автора и редактора «Reporte of Statistical Applications Research» - журнала Союза японских ученых и инженеров (Union of Japanese Scientists and Engineers)

Превосходство парного теста над двойным-тройным тестом очевидно из рис. 7.1, но тройной тест лишь немного лучше, чем двойной-тройной тест. Эти теоретические результаты согласуются с экспериментальными, которые получили Байер и Абраме [20], Хопкинс и Грнджмен [83], так же, как и с исследованиями Юэре.

Когда мы выбираем экспертов, то мы интересуемся не столько тем, обладают ли они некоторой способностью, сколько тем, достаточно ли велика их способность.

Мы можем охарактеризовать способность различения эксперта его значением а и выбирать лишь тех экспертов, для которых

где соответствует предписанной степени способности. Для разницы между вероятность правильного ответа может быть выражена как Так как это возрастающая функция от а для фиксированного гипотезы

эквивалентны

При известных очках х верных ответов экспертов в испытаниях мы отвергаем применяя преобразование если

где — верхняя -процентная точка нормированного нормального распределения. Функция мощности этого критерия, приближенно равная

функция Так как величина может варьировать, перед экспериментатором встает вопрос, каково ее оптимальное значение. Из изучения функций мощности Юэре заключает, что для должно быть примерно таким, чтобы вероятность верного ответа была 0,95 для эксперта, который вполне приемлем Более того, он находит, что тройной тест наиболее приемлем в этих обстоятельствах.

Так как (7.1.5) означает просто нулевую и альтернативную гипотезы для биномиального параметра, можно ожидать, что последовательные методы для проверки биномиальной доли дадут уменьшение в среднем числа повторений для каждого эксперта [13]. В дополнение к мы требуем теперь чтобы эксперты с а а, оказались нежелательными. Затем мы проверяем последовательно

С другой стороны, можно работать с вероятностью правильного ответа фиксируя подходящие значения и проверяя

Это в то же время критерий

Можно заметить, что если нет ясной методики определения приемлемых значений то можно использовать методы принятия множественных решений для биномиальной совокупности [68] для отсеивания плохих экспертов.