Версия для печати темы

Автор: Адам 30.06.2011 - 13:29

Уважаемые коллеги! Кто-нибудь сталкивался с анализом полученных данных в баллах. Имеются две группы нужно сравнить статистическую разницу между ними на основании методики в баллах от 1 до 4. Использование какого статистического метода будет правильным, где можно посмотреть информацию о статистике данных представленных в баллах и не имеющих промежуточные значения.

Автор: nokh 30.06.2011 - 15:36

Порядковые признаки можно анализировать и как количественные (измерения), и как качественные (категории). Но более естественным представляется всё-таки их сравнение методами порядковой статистики. По поводу анализа как количественных - существуют авторитетные работы, РЕКОМЕНДУЮЩИЕ переходить от измерений к рангам даже в случае классических параметрических техник, таких как дисперсионный анализ - типа для повышения устойчивости оценок. И хотя научное сообщество уже лет 30 не спешит прислушиваться к этим рекомендациям такое мнение существует и на него можно сослаться если прижмёт. По поводу анализа как категорий - нужно учитывать что категории не номинальные, а упорядоченные. Учёт упорядоченности при анализе таблиц сопряжённости требует определённой искушённости, это не хи-квадрат и вручную считать очень муторно, а программ которые это делают - единицы и Statistica не входит в их число.
На этом фоне методы порядковой статистики - то что нужно. Хотя многие из них разрабатывались для непрерывных распределений, на практике эта непрерывность никогда не выполняется. Строго говоря она не выполняется даже для классических измерений в силу несовершенства приборов и округления результатов. Считайте, что у вас очень маленький объект и очень грубая линейка - вот и получится шкала из 4 значений. Всё-таки когда речь заходит о баллах, причём в любой шкале (1-3, 1-5, 1-10 и др.), мы относимся к ним даже не как к порядковым данным, а именно как к измерениям и представляем результат в виде среднего балла. А как к упорядоченным категориям мы относимся к ним куда реже (ну, например, когда говорим, что доля сдавших предмет на 5 баллов составила столько-то %).
Короче, считайте по Манну - Уитни и не парьтесь. Источников, рекомендующих его для порядковых данных - полно, благо не Ребровой единой..., есть что почитать. Более того, этот критерий входит в набор для анализа не то что баллов, а вообще упорядоченных категорий в серьёзном и авторитетном пакете StatXact.

Автор: Адам 30.06.2011 - 17:11

nokh, спасибо за ответ, при использовании Манна - Уитни возникает вопрос, изложенный в предыдущем моем сообщении по поводу выбора критерия достоверности, Р отличаются кардинально, но выбрать один из трех вариантов обоснованно не могу

Автор: nokh 30.06.2011 - 18:57

Обсуждали здесь: http://forum.disser.ru/index.php?showtopic=1673&view=findpost&p=4800
Если связок (одинаковых значений в той и другой выборках) много - надо делать поправку на связки (второе значение Р), иначе критерий становится консервативным (благоприятствует нулевой гипотезе), т.е. Р будет больше. Если данных мало - <8 в каждой выборке - по Заксу (Закс Л. Статистическое оценивание - скачайте, старая но хорошая книга), или <20 по хелпу к программе - использовать аппроксимацию U-статистики нормальным распределением некорректно, нужно брать третье Р, которое однако не учитывает связки и т.о. завышено. У меня чаще количественные показатели - значения почти не повторяются в той и другой выборках, а сами выборки малы, поэтому когда раньше считал в Statistica - брал третье значение Р. Т.к. у вас все значения - это только цифры 1, 2, 3 или 4 которые повторяются в обеих выборках - связок будет очень много. Если выборки большие - используйте второе значение Р, оно будет меньше и правильнее.

Автор: Адам 30.06.2011 - 20:01

в каждой группе по 20 повторений, у администратора прошу прощения за повторение рисунка


вопрос видите принципиальный, какое значение выбрать т.к. у меня эта таблица не единственная и там таже картина. Может быть рассчитать в другом статистическом пакете?

Автор: Адам 1.07.2011 - 05:44

может быть для этих целей нужно использовать анализ корреляций, например тау Кендалла?

Автор: DrgLena 1.07.2011 - 10:08

Вот как раз с цели исследования и начните работу над анализом данных, а не с программы, скриншот которой вы приводите. Этой версией программы вообще нельзя пользоваться, и не только потому, что это пиратская копи. Вас не насторожило, что критерий Манна Уитни U критерий (Перо делаю).
Из ваших постов ясно не многое, нужно иметь больше информации о том, как спланировано исследование, что и как вы измеряли и что вам нужно сравнить. В последнем посте вы уже про анализ корреляций спрашиваете, т.е. совсем запутались, и ответ nokh не поняли.

Судя по данным вам нужно сравнить характер динамики, который представлен переменной чувствительность в двух группах, вот только что значит 20 повторений, не понятно. А по сему, классический вопрос ученого совета, а что у вас является предметом исследования, а что объектом исследования.

По поводу оценок в баллах. Сегодня много медицинских работ, в которых клинические признаки формализуются в виде полуколичественных или ранговых оценок, которые являются упорядоченными категориями. Например, степень тяжести болезни - 1,2, 3 и 4 стадии кератоконуса. При сравнении двух групп по степени тяжести может быть использован критерий М-У, и если нулевая гипотеза отклоняется, то пишут, что в одной из групп больше больных с более тяжелыми стадиями болезни. При этом иллюстрируют различия средними рангами, а не средними арифметическими. Аналогично, начальная (1), незрелая (2), зрелая катаракта (3) не может превратиться в балловую оценку, со средним 2, если в группе есть 1 и 3.

Автор: Адам 1.07.2011 - 11:05

DrgLena спасибо за ответ! Цель исследования - сравнить разницу в оперении двух групп птиц, отбираемых по определенной методике, на основании которой они делятся на 2 группы, обозначенные как + и - . Оценка количества перьев в баллах 1 балл нет перьев, 4 балла максимальное количество. Задача выявить различия между этими группами по количеству перьев.

Автор: Игорь 1.07.2011 - 16:58

В шкале баллов операция деления не определена. Следовательно, т.н. "средний балл" - некорректное понятие. Не допускайте ошибки. Используйте медиану.

Для истинно количественных признаков округление результатов измерения не изменяет тип признака и не превращает количественную величину в порядковую (ибо различие между шкалами определяется прежде всего допустимостью в той или иной шкале определенных арифметических операций), поэтому приведенные выше рассуждения на эту тему не считаю верными. Не нужно вводить в заблуждение менее опытных собеседников.

Автор: Адам 1.07.2011 - 18:07

Спасибо Игорь, из Вашего сообщения я понял, что можно использовать Манна-Уитни, естественно данные будут представлены в виде медиан и квартилей, но какое из Р выбрать в данном случае к сожалению до сих пор понять не могу

Автор: 100$ 1.07.2011 - 20:24

А нельзя тупо пересчитать количество перьев у каждой птицы и работать с этими значениями, вместо того, чтобы усложнять себе жизнь, пытаясь из трех значений достигаемого уровня значимости выбрать тот, который больше нравится?

Автор: Адам 1.07.2011 - 21:22

нельзя и не возможно

Автор: 100$ 1.07.2011 - 22:50

Тогда, похоже, надо исходить из того, что скорректирован ("adjusted") критерий может быть только на обилие связок, и получается, что ориентиоваться надо на второе значение р.

Автор: Адам 2.07.2011 - 05:38

Спасибо, 100$!

Автор: nokh 2.07.2011 - 18:52

И чем же всем мои баллы не понравились? Может мы говорим о разных баллах? Я могу материализовать виртуальные баллы и больному, поступившему с тяжестью по шкале APACHE II в 8 баллов, выдать 8 жетонов, или нарисовать в карточке 8 галочек. Другому - два (две). Это будут вполне счётные признаки (как, впрочем, и виртуальные). Также могу для каждого из них подсчитать сколько лет он прожил до сего дня и сколько условных единиц, именуемых сантиметрами, укладывается в его росте - чем не счётные? Так почему же для возраста и роста можно рассчитать средние значения, а для баллов ? нет?
С истинно порядковыми признаками, видимо, сложнее. Но под наблюдаемой порядковой шкалой скрыто какое-то распределение, принимающее на выходе дискретные значения. А насколько я понимаю, для известных распределений существуют функции, связывающие исходные шкалы с порядковыми. На этом, в частности основан критерий Ван-дер-Вардена и Regression on order statistics (ROS) методы восстановления значений усечённых распределений.

Автор: Игорь 2.07.2011 - 19:52

Потому что шкала баллов имеет ряд ограничений по сравнению с количественными шкалами. И эти ограничения заключаются в арифметических операциях, обусловленных физикой изучаемого явления.

Пусть три студента получили следующие отметки: 3, 4 и 5. Мы не может утверждать, что первый студент знает материал хуже, чем второй настолько же, насколько второй знает хуже, чем третий. Потому что относительно баллов мы можем их проранжировать - сказать, какой из студентов знает хуже. Но не можем сказать, насколько. Хотя баллы можно просуммировать - например, вычислить сумму баллов в приложении к диплому (у нас так и делали с целью выявления лучших студентов для обеспечения их выбора при распределении), и средний балл, в принципе, может решить ту же задачу. Однако такая процедура похожа скорее не на вычисление среднего значения, а на изменение масштаба. Потому что среднего балла не существует, ибо переменная, называемая баллом, в приведенном примере может принимать лишь пять значений: 1, 2, 3, 4 и 5. Она не может быть никакой другой. Область определения переменной "оценка успеваемости" включает только множество {1, 2, 3, 4, 5}. Для шкал с другим количеством баллов рассуждения аналогичны. Например, для суммы баллов, о которой говорилось выше, в случае 20 предметов область определения будет {20, 21, ... 99, 100}. При этом для переменной "средний балл", искусственно введенной выше, область определения будет {1, 1.05, ... 4.95, 5}. Но главное, что переменная "средний балл" от такой процедуры не стала количественной! Она может принимать только значения из последнего множества.

От обращения с баллами, как с количественными переменными (а это можно захотеть сделать, вычислив "средний балл", как показано выше и таким образом за счет перехода к числам с плавающей точкой получив иллюзию, что мы имеем количественные переменные), можно ожидать больших неприятностей. Например, для двух групп с разной размерностью шкалы баллов переменные "средний балл" будут иметь различные области определения и не могут быть сравнимы точно так же, как не могут быть сравнимы их суммы баллов (а "средний балл", представляющий собой отмасштабированную сумму баллов, побуждает сделать это).

Конечно, искусственно ввести порядковую переменную "средний балл" можно, как показано выше, но слово "средний" вводит в заблуждение. Считайте уж тогда сумму баллов либо дайте пояснение, что вы имеете в виду.

Совсем иные рассуждения для количественной переменной. Даже если у вас шкала настолько груба, что, скажем, вы измеряете рост с точностью до сантиметра, ничто не мешает переменной "рост" теоретически принимать значение с любым количеством знаков после запятой. Даже если эта конкретная величина никогда не будет получена в эксперименте. Область определения переменной "рост" включает все положительные действительные значения - множество R.

Хотя все эти рассуждения каждый волен игнорировать и поступать по своему усмотрению. Наша наука от этого уже не пострадает. Нам еще и не то в последнее время встречалось, особенно в работах медико-биологической направленности. Например, в одной рецензируемой работе автор сократил градусы в числителе и знаменателе дроби. И все бы ничего, но в числителе была температура в градусах Цельсия, в знаменателе - угловая величина в градусах.

Добавление
----------------
Возможно, для анализа данных в виде баллов следует использовать методы теории экспертных оценок. Теория хорошо развита профессором Орловым. Отдельные моменты кратко описаны в ПО AtteStat.

Поиск в Яндексе по "теория балльных оценок". Первая же ссылка http://ozrp.narod.ru/learn/year0708/2nd/met_ballnyh_ocenok.pdf. Параграф 5 посмотрите.

Автор: nokh 3.07.2011 - 19:38

Благодарю за столь развёрнутый ответ! Теперь вынужден пересмотреть своё отношение к баллам. Кстати, я сталкивался с различием масштабов между порядковыми оценками, знаю как с помощью многомерных методов их оценить и даже пару месяцев назад отослал в ж-л "Экология" статью в т.ч. об этом. Но с точки зрения вычисления средних и пр. не придавал этому значения:)

Автор: Адам 5.07.2011 - 13:04

Спасибо всем за ответы! Я как понял правильным выбором будет анализ корреляций

Автор: nokh 24.12.2011 - 00:06

Столкнулся с необходимостью анализа данных, представленных шкалами Лайкерта - для оценки качества жизни после операции в динамике. Шкалы короткие: 4-5 баллов. Всё осложняется тем, что есть как перекрестные эффекты (комбинации вариантов лечения), так и иерархические (повторные измерения внутри вариантов). Опять поднимал литературу по возможности анализа таких данных параметрическими техниками. Нашёл такую оптимистичную и свежую работу:
http://ebookbrowse.com/likert-scales-levels-of-measurement-and-the-%E2%80%98%E2%80%98laws%E2%80%99%E2%80%99-pdf-d68102825
Как считаете, корректно ли будет снабдить средние баллы (вычисленные просто как понятный эквивалент суммы баллов) бутстреп-оценками ДИ (в том же смысле, т.е. если мы будем многократно извлекать из популяции выборки, считать по ним сумму баллов и находить для удобства средний бал, то в 95% выборок будем получать бал в таком диапазоне)?

Автор: 100$ 24.12.2011 - 15:48

Считаем так же, как и Шолом-Алейхем: если нельзя, но очень хочется-значит,можно!

Кроме шуток: теоретическим инструментом для доверительного оценивания как общепринятой стаистической спроцедуры является закон больших чисел (ЗБЧ), согласно которому эмпирические средние сходятся к теоретическим. В ординальной (порядковой) шкале понятие суммы не определено (сумма знаний двоечника и троечника не равна сумме знаний отличника). Соответственно, не определено понятие средней величины (в т.ч. и среднего балла). Соответственно, никакие эмпирические средние баллы ни к каким теоретическим не сходятся. Это с одной стороны.

С другой стороны - существует неклассическое следствие из ЗБЧ: выборочная медиана сходится-таки к теоретической. Именно поэтому в ординальной шкале оправдано использование медианы (баллов). Может, стоит поступить именно так? Тогда и в бутстрапировании особой надобности не будет: медиана и так является робастной оценкой.

Автор: p2004r 24.12.2011 - 20:12

так и стройте сразу для 97.5% случаев верхнюю границу и 2.5% нижнюю. просто отсортировав.

Автор: nokh 24.12.2011 - 21:40

Ну это был типа юмор такой. Просто несколькими постами выше Игорь обосновал и изменил мой прежний взгляд на баллы. Речь шла также о сумме баллов. Но если мы будем использовать средний балл не в смысле интервальной шкалы, а в смысле удобного представления суммы баллов как некоего интегрального показателя, то почему бы не рассчитать для него и ДИ? - ресэмплинг это позволяет.

Ваша точка зрения весьма распространена. Однако так считают не все и вопрос до сих пор не закрыт, т.к. многие пытаются оспаривать тот факт, что шкалы Лайкерта - истинно порядковые и доказывают то, что часто они практически неотличимы от интервальных. А следовательно с ними можно работать параметрикой. Особенно много таких в психологии и социологии, т.к. у них все опросники построены чуть ли не целиком на таких шкалах: от "категорически несогласен" до "двумя руками за". Работа, ссылку на которую я привёл выше, как раз из этого числа. Конечно я бы не пытался ловить что-то в мутной воде, если бы имел сложному (смешанная модель) дисперсионному анализу достойную и более-менее распространённую непараметрическую альтернативу. А тут приходится выкручиваться. А по поводу медианы - тоже не всё хорошо. Т.к. шкалы короткие, медианы не будут отличаться, а это плохо смотрится в таблицах. Скажем в выборках средние баллы будут 3,3 и 3,7, а медианы в обеих - 3,5. Как писала выше DrgLena в её практике были случаи, когда выборки отличались высоко статистически значимо по критериям, но имели равную медиану. Т.е. возможно как мера центральной тенденции медиана даже "слишком робастна", если так можно выразиться.

Автор: 100$ 24.12.2011 - 22:57

Ни в коем случае не предлагаю Вам устраивать революцию в науке, но вот цитатка из Большого псюхологического словаря (я на нее ориентировался):

"Шкала Лайкерта (англ. Likert scale) - один из 3 основных типов шкал для измерения аттитюдов, предложенный в 1932 Ренсисом Лайкертом (Ликертом). Термин ?Ш. Л.? относится как к шкалам, которые были сконструированы самим Лайкертом, так и ко всем шкалам такого типа. Син.: метод суммируемых оценок Лайкерта.

Ш. Л. представляет собой порядковую шкалу измерения: она позволяет оценить выраженность установки, сравнивать установки разных людей по интенсивности; из статистических процедур допускается определение медиан распределений, вычисление коэффициентов ранговой корреляции и сопряженности. "

И еще (в порядке обмена мнениями): в интервальной шкале в отличие от номинальной и ординальной впервые приобретают смысл отношения типа "насколько" и "во-сколько". Имеют ли они смысл применительно к шкалам Лайкерта? Если да, то тогда Ваша схема не вызывает нареканий.

Автор: p2004r 25.12.2011 - 01:26

0) ну хорошо пусть будет только отношение больше-меньше.

1) тогда заменяем каждую оценку на вектор из позиций шкалы в котором 0 значения превышающие оценку, а единицы те которые меньше. каждая из позиций шкалы представляет из себя вырожденную интервальную.

2) проводим PCA - получаем (или не получаем если докажем случайность картины) ортогональные шкалы.

PS можно и Non-metric Multidimensional Scaling использовать, оно только больше-меньше учитывает.

Автор: DrgLena 25.12.2011 - 14:47

Вики также оптимистична, если шкала имеет хотя бы 5 значений, но ссылки не дает.
http://en.wikipedia.org/wiki/Likert_scale
Когда мы учим аспирантов и студентов, то мы даем правильные советы, когда критикуем чужие публикации, то также исходим из того, что написано в хороших книжках.
Но, когда нам самим приходится анализировать данные, то мы понимаем, что в описанном nokh дизайне использование параметрических методов позволит извлечь больше информации для выводов работы.
Важным в выборе методов анализа является и существующие традиции представления данных. Например, представление суммы по нескольким шкалам в психиатрии и использование ROC для разделения между двумя альтернативными состояниями, если нужен прогноз.

Автор: Игорь 25.12.2011 - 16:34

Все-таки не уходим мы от ошибочного понятия средних баллов. Ну хорошо,тогда так.

Пусть у нас выборка из 5 значений. Что-то из статистики посчитать мы можем, но не очень красиво - мало данных, все-таки, мощность мизерна. А вот мы возьмем эту выборку 10 раз. И уже имеем 50 значений. Неплохо. А 100. Тогда 500 значений. Вот это статистика будет! Вот это значимость! Но в основе-то - подлог и шаманство.

Я намеренно утрирую, чтобы показать, что обработка баллов параметрическими методами - такой же подлог и шаманство.

Автор: DrgLena 25.12.2011 - 17:11

Шкала имеет 5 значений, а не выборка

Автор: 100$ 25.12.2011 - 19:06

Осмелюсь подвести промежуточный итог:
существуют три вида лжи:
- ложь;
- наглая ложь;
- статистика (с) тьма авторов

Автор: Игорь 25.12.2011 - 20:45

Так по потребностям и фрукт.