Как грамотно посчитать результаты опроса методом экспертных оценок?, обработка результатов опроса? Опции

[ildar_gal]

Доброго времени суток!
Был составлен список факторов, которые могут влиять на определенный процесс. Экспертов попросили проставить свои ответы на предоставленный перечень факторов. Опрос состоял из двух этапов.
1 этап опроса. Факторы оценивали в баллах: 0-не имеют влияние, 1-возможно имеют влияние, 2-имеют влияние.
2 этап. По тем факторам, по которым проставлены баллы 2 (имеют влияние), дополнительно эксперты расположили в порядке возрастания (неубывание). Т.е. первым был расположен фактор (по мнению эксперта) который имеет самое большое влияние, потом следующий и т.д. Шкала порядковая.
Получились две таблицы, где в первой на против факторов проставлены ответы 0, 1, 2. Другая таблица, где те же факторы (только с оценкой 2 ), были расположены в порядке влияния. Ответы в таблице 2 различаются не только порядком расположения факторов, но и выбранными факторами .
Теперь необходимо решить 3 задачи.
1. Необходимо выбрать значимые факторы.
2. Выявить связи с другими факторами
3. определить степень влияния на процесс (оценка значимости).
Подскажите, какими методами можно решить эти задачи?
Буду очень признателен за помощь.

[100$]

Ответы в таблице 2 различаются не только порядком расположения факторов, но и выбранными факторами .

Почему? Что случилось?

[p2004r]

Почему? Что случилось?

метод экспертных оценок и случился

положено анонимно ознакомить участников с выводами группы и дать возможность скорректировать мнение. (вообще это рекурсивно повторяют до отсутствия изменений мнений)

[p2004r]

Доброго времени суток!
Был составлен список факторов, которые могут влиять на определенный процесс. Экспертов попросили проставить свои ответы на предоставленный перечень факторов. Опрос состоял из двух этапов.
1 этап опроса. Факторы оценивали в баллах: 0-не имеют влияние, 1-возможно имеют влияние, 2-имеют влияние.
2 этап. По тем факторам, по которым проставлены баллы 2 (имеют влияние), дополнительно эксперты расположили в порядке возрастания (неубывание). Т.е. первым был расположен фактор (по мнению эксперта) который имеет самое большое влияние, потом следующий и т.д. Шкала порядковая.
Получились две таблицы, где в первой на против факторов проставлены ответы 0, 1, 2. Другая таблица, где те же факторы (только с оценкой 2 ), были расположены в порядке влияния. Ответы в таблице 2 различаются не только порядком расположения факторов, но и выбранными факторами .
Теперь необходимо решить 3 задачи.
1. Необходимо выбрать значимые факторы.
2. Выявить связи с другими факторами
3. определить степень влияния на процесс (оценка значимости).
Подскажите, какими методами можно решить эти задачи?
Буду очень признателен за помощь.

1) Оценка самих экспертов должна быть сделана (по согласованности).

2) После определения "весов" экспертов оцениваем факторы.

Для этого процесса есть соответствующие расширения на cran

http://cran.r-project.org/web/packages/expert/index.html
http://cran.r-project.org/web/packages/ibelief/ibelief.pdf
http://cran.r-project.org/web/packages/pre.../prevalence.pdf

ну и тому подобное

[100$]

метод экспертных оценок и случился

Шутку юмора оценил.

Однако. На первом этапе эксперты отобрали несколько нужных факторов.
На втором этапе этот набор факторов (замаркированных "двойкой") надо дать проранжировать каждому из экспертов, опосля чего по полученному набору ранжировок
вычислить коэффициент конкордации Кендалла, чтобы понять, что из себя представляют эти эксперты. Если их мнения рассоглавованы, то этой ораве экспертов грош цена.
Но на этом этапе разные эксперты должны проранжировать один и тот же набор факторов. Иначе как же сравнивать две произвольно выбранные ранжировки.

[p2004r]

Шутку юмора оценил.

Однако. На первом этапе эксперты отобрали несколько нужных факторов.
На втором этапе этот набор факторов (замаркированных "двойкой") надо дать проранжировать каждому из экспертов, опосля чего по полученному набору ранжировок
вычислить коэффициент конкордации Кендалла, чтобы понять, что из себя представляют эти эксперты. Если их мнения рассоглавованы, то этой ораве экспертов грош цена.
Но на этом этапе разные эксперты должны проранжировать один и тот же набор факторов. Иначе как же сравнивать две произвольно выбранные ранжировки.

Про необходимость последовательных оценок я вполне серьезно иначе теряется возможность получить согласованное мнение (да и оригинальный метод именно так "рекурсивно" РЭНДом и применялся) Ну и "особое мнение" таким образом фиксируется тех кто даже после объяснений групповой позиции "стоит на своем".

1) Для оценки факторов vs экспертов достаточно первой таблицы. Получить автоматически веса можно как и рекомендуется любым подходящим методом редукции размерности. (ну или данные преобразовать --- ранговая шкала в думми переменные тоже прекрасно переводится) Если выясниться что мнение экспертов не укладывается в одно измерение, тем интереснее . Эксперты --- переменные, а оцениваемые факторы --- варианты выборки. Соответственно для каждой состоявшейся "шкалы экспертов" получите весовые коэффициенты и автоматически даром полученные оценки значимости по этой шкале отбираемых факторов.

Если "шкалы экспертов" более одной, то и имеем место с двумя разными "школами". Например оценивали "балет классический"ТМ и "балет современный"ТМ Или выбрать что актуально, или оценку давать с точки зрения обоих подходов как альтернативные варианты.


2) Ну а в пакетах указанных мной собственно способы что то там количественно вычислять по выставленным оценкам. Вторая таблица таким способом построенная кстати примитивна как то выглядит --- надо хотя бы применить метод попарных сравнений.

[100$]

Про необходимость последовательных оценок я вполне серьезно иначе теряется возможность получить согласованное мнение (да и оригинальный метод именно так "рекурсивно" РЭНДом и применялся) Ну и "особое мнение" таким образом фиксируется тех кто даже после объяснений групповой позиции "стоит на своем".

1) Для оценки факторов vs экспертов достаточно первой таблицы. Получить автоматически веса можно как и рекомендуется любым подходящим методом редукции размерности. (ну или данные преобразовать --- ранговая шкала в думми переменные тоже прекрасно переводится) Если выясниться что мнение экспертов не укладывается в одно измерение, тем интереснее . Эксперты --- переменные, а оцениваемые факторы --- варианты выборки. Соответственно для каждой состоявшейся "шкалы экспертов" получите весовые коэффициенты и автоматически даром полученные оценки значимости по этой шкале отбираемых факторов.

Если "шкалы экспертов" более одной, то и имеем место с двумя разными "школами". Например оценивали "балет классический"ТМ и "балет современный"ТМ Или выбрать что актуально, или оценку давать с точки зрения обоих подходов как альтернативные варианты.


2) Ну а в пакетах указанных мной собственно способы что то там количественно вычислять по выставленным оценкам. Вторая таблица таким способом построенная кстати примитивна как то выглядит --- надо хотя бы применить метод попарных сравнений.

Не-а, что-то я не въезжаю.
Вот эксперты Иванов, Петров и Сидоров отобрали (замаркировав "2"-кой) факторы A, B, C, D, E, F, G и H.
Что означает фраза, что "... Ответы в таблице 2 различаются не только порядком расположения факторов, но и выбранными факторами . "
Это что, Иванов ранжировал факторы A, B и C, Петров - C, D, E и F, а Сидоров - G и H?
Или где?

P.S. Велик могучим русский языка (с).

[p2004r]

Не-а, что-то я не въезжаю.
Вот эксперты Иванов, Петров и Сидоров отобрали (замаркировав "2"-кой) факторы A, B, C, D, E, F, G и H.
Что означает фраза, что "... Ответы в таблице 2 различаются не только порядком расположения факторов, но и выбранными факторами . "
Это что, Иванов ранжировал факторы A, B и C, Петров - C, D, E и F, а Сидоров - G и H?
Или где?

P.S. Велик могучим русский языка (с).

Вообще топик стартер мог бы напрячься и выложить сами данные

[nokh]

Необходимость двух этапов представляется сомнительной. В результате такого подхода информация от одних и тех же экспертов и относительно одних и тех же факторов размазывается по двум таблицам, тогда как вполне можно было бы обойтись одной - со значениями всех факторов от 0 до k. Здесь вполне допустимы и одинаковые ранги, скажем несколько "0", если эксперт считает что эти несколько факторов не влияют. В принципе, такую обобщающую таблицу можно скомбинировать из двух имеющихся - это избавит от необходимости дважды оценивать согласованность одних и тех же экспертов и хоть и с разной точностью, но но-сути дважды ранжировать близкий набор факторов. Например, можно факторам, промаркированным "0" и "1" в первой таблице оставить эти значения, а факторам, промаркированным "2", далее дописать ранги из второй таблицы начиная с ранга 2 (т.е. просто прибавив единицу). Если двухэтапность была бы прописана в методике, то и способ обработки таких данных нужно было брать оттуда, а раз методикой это не предусмотрено + способ анализа вызывает сомнения - я за за одну таблицу и одну проверку.

Классический способ анализа такой таблицы (ну или двух имеющихся, если топикстартер решить работать с двумя) 100$ указал, это - анализ Фридмана с последующим расчётом коэффициента конкордации Кендалла.

Согласен, что если между экспертами не будет статистически значимого согласия - нет основания и для оценок факторов. Но с такими данными всё равно можно работать. Можно вместо редукции с обобщением, предлагаемой р2004r, взять для начала и для простоты обычный кластерный анализ - посмотреть, что за группы формируют эксперты и тогда уже с учётом этой информации продумать дальнейшие шаги. Если данных (экспертов) много + есть квалификация - можно и редукцию, тогда, вероятно факторы сгруппируются не по интегральной оценке воздействия (как в случае ранжирования или кластеризации), а по неким сходным свойствам, которые субъективно оценивают эксперты и которые можно пытаться дополнительно охарактеризовать.

Если между экспертами будет значимая согласованность - средние ранги факторов можно использовать в качестве интегральных оценок влияния фактора. Для не очень мудрёной работы этого вполне достаточно. Если же мудрить, то можно в рамках критерия Фридмана провести множественные апостериорные сравнения факторов методом Неменьи - и оценить значимость всех попарных различий. Если ещё точнее, то можно использовать не анализ Фридмана, а метод Даны Квейд - тогда эксперты, чьё мнение чаще совпадает с другими получат больший вес, о несогласные одиночки - меньший. Буду признателен за информацию об апостериорных сравнениях в рамках метода Квейд.

>p2004r По ссылкам сходил, за неимением времени только кинул в папку не разбираясь. Дайте, пожалуйста, ссылку на литературу, где описано как правильно замучить экспертов рекурсивными опросами, чтобы они наконец выдали общее мнение

Сообщение отредактировал nokh - 20.10.2014 - 17:59

[100$]

Буду признателен за информацию об апостериорных сравнениях в рамках метода Квейд.

Тут.
Не знаю ничего лучшего. Конкретно- с.2054

>p2004r По ссылкам сходил, за неимением времени только кинул в папку не разбираясь. Дайте, пожалуйста, ссылку на литературу, где описано как правильно замучить экспертов рекурсивными опросами, чтобы они наконец выдали общее мнение

Присоединюсь к просьбе.

Сообщение отредактировал 100$ - 20.10.2014 - 20:42

[anserovtv]

Существуют современные системы принятия решений на основе экспертных оценок типа http://rpp.nashaucheba.ru/docs/index-170328.html
Я этим занимался совсем мало и программа работала плохо. Математически методы основаны на вычислениях собственных значений и собственных векторов матриц оценок. Можно учитывать и изменения оценок экспертов. Согласованность оценок экспертов проверяется такими же методами.
Но данные должны быть несколько другими. В интернете много примеров применения данного подхода при написании диссертаций.

Сообщение отредактировал anserovtv - 22.10.2014 - 22:38

[p2004r]

>p2004r По ссылкам сходил, за неимением времени только кинул в папку не разбираясь. Дайте, пожалуйста, ссылку на литературу, где описано как правильно замучить экспертов рекурсивными опросами, чтобы они наконец выдали общее мнение

А) Это классический "метод Дельф" предложенный RAND очень давно, может поэтому никто и не читает эту литературу. В принципе Википедия дает исчерпывающую ссылку (английская страница содержит библиографию).

Суть проста --- 1) избавить от "давления группы" эксперта путем исключения прямого общения, 2) дать возможность узнавать "анонимное обобщенное мнение группы", как шанс (исправить ошибку| увидеть возможность), 3) возможность записать "особое мнение одиночки" с объяснением, что бы сохранить варианты.

Логика такого подхода как в "ансамблях моделей ML" --- куча "слабых решателей" опережают один "продвинуто нелинейный метод".

Б) метод попарного сравнения другая возможность эксперту "побыть наедине с собой" , множество частных решений вместо одного глобального.
он идет обычно как часть МАИ

В) Ну и мнение экспертов при оценке чего то количественного выражают через восстановление кумулятивного распределения http://journal.r-project.org/archive/2009-...oulet+et+al.pdf

Есть еще старая книжка на эту тему переведенная на русский "Наука об управлении. Байесовский подход.", Мир - 1971 год, У.Морис

Прикрепленные файлы

 _У._Наука_об_управлении._Байесовский_подход_1971_.rar ( 3,95 мегабайт ) Кол-во скачиваний: 218

 

[ildar_gal]

Вообще топик стартер мог бы напрячься и выложить сами данные

Мне было приятно увидеть ваши отзывы и предложения. Выложил данные, архив папки "данные".
Исследование проводилось методом SEER (система оценок и обзора событий), одна из методик Дэлфи. Предусматривает всего два тура оценки. Эксперты первого тура - специалисты, эксперты второго тура - наиболее квалифицированные специалисты из органов, принимающих решения. Выбор шкалы был выбран порядковый. Таблица 1 ? бальный способ (факторы оценивали 0-не имеет влияние; 1- возможно влияет; 2- точно влияет). Таблица 2 ? факторы которые получили оценку 2, эксперты ранжируют их в порядке значимости (важности).

Сообщение отредактировал ildar_gal - 22.10.2014 - 05:32

Прикрепленные файлы

 данные.rar ( 10,19 килобайт ) Кол-во скачиваний: 222

 

[ildar_gal]

1) Для оценки факторов vs экспертов достаточно первой таблицы. Получить автоматически веса можно как и рекомендуется любым подходящим методом редукции размерности. (ну или данные преобразовать --- ранговая шкала в думми переменные тоже прекрасно переводится) Если выясниться что мнение экспертов не укладывается в одно измерение, тем интереснее . Эксперты --- переменные, а оцениваемые факторы --- варианты выборки. Соответственно для каждой состоявшейся "шкалы экспертов" получите весовые коэффициенты и автоматически даром полученные оценки значимости по этой шкале отбираемых факторов.


Если "шкалы экспертов" более одной, то и имеем место с двумя разными "школами". Например оценивали "балет классический"ТМ и "балет современный"ТМ Или выбрать что актуально, или оценку давать с точки зрения обоих подходов как альтернативные варианты.


2) Ну а в пакетах указанных мной собственно способы что то там количественно вычислять по выставленным оценкам. Вторая таблица таким способом построенная кстати примитивна как то выглядит --- надо хотя бы применить метод попарных сравнений.

не совсем понял про метод редукции размерности. Где можно прочитать?
во второй таблице применялся метод попарных сравнений.

Сообщение отредактировал ildar_gal - 22.10.2014 - 06:44

[ildar_gal]

Структура анализа полученных данных состоит:
1. Оценка согласованности мнений.Таблица 1. Метод дифференциального ранжирования. По таблице 2 методом парных сравнений рассчитывался коэффициент согласованности.
2. Определение обобщенного мнения. Средне арифметический метод, частотный анализ максимальных оценок, метод относительной значимости - таблица 1. По этим методам были проранжированы факторы. По таблице 2 - сумма рангов по каждому исследуемому фактору. Но мне показался этот метод не верный. Так как разные факторы и разные оценки у каждого эксперта.
3. Выявления связи между факторами методом коэффициента конкордации (таблица 1)
4. Необходимо выбрать значимые факторы- каким методом?
5. Оценка факторов- каким методом?
Интересует пункты 4 и 5. Буду ждать ваших советов, отзывов. Или ссылку на литературу?

Сообщение отредактировал ildar_gal - 22.10.2014 - 05:50