Как грамотно посчитать результаты опроса методом экспертных оценок?, обработка результатов опроса? Опции

[ildar_gal]

Доброго времени суток!
Был составлен список факторов, которые могут влиять на определенный процесс. Экспертов попросили проставить свои ответы на предоставленный перечень факторов. Опрос состоял из двух этапов.
1 этап опроса. Факторы оценивали в баллах: 0-не имеют влияние, 1-возможно имеют влияние, 2-имеют влияние.
2 этап. По тем факторам, по которым проставлены баллы 2 (имеют влияние), дополнительно эксперты расположили в порядке возрастания (неубывание). Т.е. первым был расположен фактор (по мнению эксперта) который имеет самое большое влияние, потом следующий и т.д. Шкала порядковая.
Получились две таблицы, где в первой на против факторов проставлены ответы 0, 1, 2. Другая таблица, где те же факторы (только с оценкой 2 ), были расположены в порядке влияния. Ответы в таблице 2 различаются не только порядком расположения факторов, но и выбранными факторами .
Теперь необходимо решить 3 задачи.
1. Необходимо выбрать значимые факторы.
2. Выявить связи с другими факторами
3. определить степень влияния на процесс (оценка значимости).
Подскажите, какими методами можно решить эти задачи?
Буду очень признателен за помощь.

[nokh]

Необходимость двух этапов представляется сомнительной. В результате такого подхода информация от одних и тех же экспертов и относительно одних и тех же факторов размазывается по двум таблицам, тогда как вполне можно было бы обойтись одной - со значениями всех факторов от 0 до k. Здесь вполне допустимы и одинаковые ранги, скажем несколько "0", если эксперт считает что эти несколько факторов не влияют. В принципе, такую обобщающую таблицу можно скомбинировать из двух имеющихся - это избавит от необходимости дважды оценивать согласованность одних и тех же экспертов и хоть и с разной точностью, но но-сути дважды ранжировать близкий набор факторов. Например, можно факторам, промаркированным "0" и "1" в первой таблице оставить эти значения, а факторам, промаркированным "2", далее дописать ранги из второй таблицы начиная с ранга 2 (т.е. просто прибавив единицу). Если двухэтапность была бы прописана в методике, то и способ обработки таких данных нужно было брать оттуда, а раз методикой это не предусмотрено + способ анализа вызывает сомнения - я за за одну таблицу и одну проверку.

Классический способ анализа такой таблицы (ну или двух имеющихся, если топикстартер решить работать с двумя) 100$ указал, это - анализ Фридмана с последующим расчётом коэффициента конкордации Кендалла.

Согласен, что если между экспертами не будет статистически значимого согласия - нет основания и для оценок факторов. Но с такими данными всё равно можно работать. Можно вместо редукции с обобщением, предлагаемой р2004r, взять для начала и для простоты обычный кластерный анализ - посмотреть, что за группы формируют эксперты и тогда уже с учётом этой информации продумать дальнейшие шаги. Если данных (экспертов) много + есть квалификация - можно и редукцию, тогда, вероятно факторы сгруппируются не по интегральной оценке воздействия (как в случае ранжирования или кластеризации), а по неким сходным свойствам, которые субъективно оценивают эксперты и которые можно пытаться дополнительно охарактеризовать.

Если между экспертами будет значимая согласованность - средние ранги факторов можно использовать в качестве интегральных оценок влияния фактора. Для не очень мудрёной работы этого вполне достаточно. Если же мудрить, то можно в рамках критерия Фридмана провести множественные апостериорные сравнения факторов методом Неменьи - и оценить значимость всех попарных различий. Если ещё точнее, то можно использовать не анализ Фридмана, а метод Даны Квейд - тогда эксперты, чьё мнение чаще совпадает с другими получат больший вес, о несогласные одиночки - меньший. Буду признателен за информацию об апостериорных сравнениях в рамках метода Квейд.

>p2004r По ссылкам сходил, за неимением времени только кинул в папку не разбираясь. Дайте, пожалуйста, ссылку на литературу, где описано как правильно замучить экспертов рекурсивными опросами, чтобы они наконец выдали общее мнение

Сообщение отредактировал nokh - 20.10.2014 - 17:59

[100$]

Буду признателен за информацию об апостериорных сравнениях в рамках метода Квейд.

Тут.
Не знаю ничего лучшего. Конкретно- с.2054

>p2004r По ссылкам сходил, за неимением времени только кинул в папку не разбираясь. Дайте, пожалуйста, ссылку на литературу, где описано как правильно замучить экспертов рекурсивными опросами, чтобы они наконец выдали общее мнение

Присоединюсь к просьбе.

Сообщение отредактировал 100$ - 20.10.2014 - 20:42