Как грамотно посчитать результаты опроса методом экспертных оценок?, обработка результатов опроса? Опции

[ildar_gal]

Доброго времени суток!
Был составлен список факторов, которые могут влиять на определенный процесс. Экспертов попросили проставить свои ответы на предоставленный перечень факторов. Опрос состоял из двух этапов.
1 этап опроса. Факторы оценивали в баллах: 0-не имеют влияние, 1-возможно имеют влияние, 2-имеют влияние.
2 этап. По тем факторам, по которым проставлены баллы 2 (имеют влияние), дополнительно эксперты расположили в порядке возрастания (неубывание). Т.е. первым был расположен фактор (по мнению эксперта) который имеет самое большое влияние, потом следующий и т.д. Шкала порядковая.
Получились две таблицы, где в первой на против факторов проставлены ответы 0, 1, 2. Другая таблица, где те же факторы (только с оценкой 2 ), были расположены в порядке влияния. Ответы в таблице 2 различаются не только порядком расположения факторов, но и выбранными факторами .
Теперь необходимо решить 3 задачи.
1. Необходимо выбрать значимые факторы.
2. Выявить связи с другими факторами
3. определить степень влияния на процесс (оценка значимости).
Подскажите, какими методами можно решить эти задачи?
Буду очень признателен за помощь.

[nokh]

Необходимость двух этапов представляется сомнительной. В результате такого подхода информация от одних и тех же экспертов и относительно одних и тех же факторов размазывается по двум таблицам, тогда как вполне можно было бы обойтись одной - со значениями всех факторов от 0 до k. Здесь вполне допустимы и одинаковые ранги, скажем несколько "0", если эксперт считает что эти несколько факторов не влияют. В принципе, такую обобщающую таблицу можно скомбинировать из двух имеющихся - это избавит от необходимости дважды оценивать согласованность одних и тех же экспертов и хоть и с разной точностью, но но-сути дважды ранжировать близкий набор факторов. Например, можно факторам, промаркированным "0" и "1" в первой таблице оставить эти значения, а факторам, промаркированным "2", далее дописать ранги из второй таблицы начиная с ранга 2 (т.е. просто прибавив единицу). Если двухэтапность была бы прописана в методике, то и способ обработки таких данных нужно было брать оттуда, а раз методикой это не предусмотрено + способ анализа вызывает сомнения - я за за одну таблицу и одну проверку.

Классический способ анализа такой таблицы (ну или двух имеющихся, если топикстартер решить работать с двумя) 100$ указал, это - анализ Фридмана с последующим расчётом коэффициента конкордации Кендалла.

Согласен, что если между экспертами не будет статистически значимого согласия - нет основания и для оценок факторов. Но с такими данными всё равно можно работать. Можно вместо редукции с обобщением, предлагаемой р2004r, взять для начала и для простоты обычный кластерный анализ - посмотреть, что за группы формируют эксперты и тогда уже с учётом этой информации продумать дальнейшие шаги. Если данных (экспертов) много + есть квалификация - можно и редукцию, тогда, вероятно факторы сгруппируются не по интегральной оценке воздействия (как в случае ранжирования или кластеризации), а по неким сходным свойствам, которые субъективно оценивают эксперты и которые можно пытаться дополнительно охарактеризовать.

Если между экспертами будет значимая согласованность - средние ранги факторов можно использовать в качестве интегральных оценок влияния фактора. Для не очень мудрёной работы этого вполне достаточно. Если же мудрить, то можно в рамках критерия Фридмана провести множественные апостериорные сравнения факторов методом Неменьи - и оценить значимость всех попарных различий. Если ещё точнее, то можно использовать не анализ Фридмана, а метод Даны Квейд - тогда эксперты, чьё мнение чаще совпадает с другими получат больший вес, о несогласные одиночки - меньший. Буду признателен за информацию об апостериорных сравнениях в рамках метода Квейд.

>p2004r По ссылкам сходил, за неимением времени только кинул в папку не разбираясь. Дайте, пожалуйста, ссылку на литературу, где описано как правильно замучить экспертов рекурсивными опросами, чтобы они наконец выдали общее мнение

Сообщение отредактировал nokh - 20.10.2014 - 17:59

[p2004r]

>p2004r По ссылкам сходил, за неимением времени только кинул в папку не разбираясь. Дайте, пожалуйста, ссылку на литературу, где описано как правильно замучить экспертов рекурсивными опросами, чтобы они наконец выдали общее мнение

А) Это классический "метод Дельф" предложенный RAND очень давно, может поэтому никто и не читает эту литературу. В принципе Википедия дает исчерпывающую ссылку (английская страница содержит библиографию).

Суть проста --- 1) избавить от "давления группы" эксперта путем исключения прямого общения, 2) дать возможность узнавать "анонимное обобщенное мнение группы", как шанс (исправить ошибку| увидеть возможность), 3) возможность записать "особое мнение одиночки" с объяснением, что бы сохранить варианты.

Логика такого подхода как в "ансамблях моделей ML" --- куча "слабых решателей" опережают один "продвинуто нелинейный метод".

Б) метод попарного сравнения другая возможность эксперту "побыть наедине с собой" , множество частных решений вместо одного глобального.
он идет обычно как часть МАИ

В) Ну и мнение экспертов при оценке чего то количественного выражают через восстановление кумулятивного распределения http://journal.r-project.org/archive/2009-...oulet+et+al.pdf

Есть еще старая книжка на эту тему переведенная на русский "Наука об управлении. Байесовский подход.", Мир - 1971 год, У.Морис

Прикрепленные файлы

 _У._Наука_об_управлении._Байесовский_подход_1971_.rar ( 3,95 мегабайт ) Кол-во скачиваний: 265