Статистическая разница Опции

[versant]

Здравствуйте!
Проводим на животных (здоровых и больных) тестирование 3-х приборов: сначала измеряем одним ? образцовым, затем двумя опытными. Сняли 100 троек измерений, рассчитали разность между показаниями опытных и образцового, получилась таблица:

Распределения в выборках отличны от нормального. Как оценить есть ли статистическая разница между показаниями опытных приборов?
Спасибо.

[comisora]

Учитывая развернувшееся обсуждение, позволю себе выложить пару ссылок, которые могут быть полезны в последующих обсуждениях.

1. Описание критерия Манна-Уитни, что он умеет и чего не умеет. Рассмотрены случаи с медианами.
2. Вариант использования proportional odds regression для непрерывной зависимой переменной.

Прикрепленные файлы

 Divine_et_al_2018_The_Wilcoxon_Mann_Whitney_Procedure_Fails_as_a_Test_of_Medians.pdf ( 1,15 мегабайт ) Кол-во скачиваний: 569
 Liu_et_al_2017_Modeling_continuous_response_variables_using_ordinal_regression.pdf ( 1,64 мегабайт ) Кол-во скачиваний: 531

 

[Игорь]

1. Описание критерия Манна-Уитни, что он умеет и чего не умеет. Рассмотрены случаи с медианами.
...
Divine_et_al_2018_The_Wilcoxon_Mann_Whitney_Procedure_Fails_as_a_Test_of_Medians.pdf ( 1,15 мегабайт )

Статья забавная, но ничего не доказывающая. Пара методических соображений после ее изучения.
1. Стоит вопрос об однородности выборок, которые считают авторы. Надо посчитать параметры положения, масштаба (рассеяния) и их ошибки и показать, что выборки однородны. Т.е. каждая варианта выборки, вообще говоря, не взята с потолка, а является измерением того же самого экспериментального параметра.
2. Если сравнивать параметры положения, то различий таких искусственных выборок, как в статье, нет. Но если сравнить параметры рассеяния, то очень даже есть.

Сообщение отредактировал Игорь - 20.07.2022 - 09:49

[passant]

Статья забавная, но ничего не доказывающая. Пара методических соображений после ее изучения.
1. Стоит вопрос об однородности выборок, которые считают авторы. Надо посчитать параметры положения, масштаба (рассеяния) и их ошибки и показать, что выборки однородны. Т.е. каждая варианта выборки, вообще говоря, не взята с потолка, а является измерением того же самого экспериментального параметра.
2. Если сравнивать параметры положения, то различий таких искусственных выборок, как в статье, нет. Но если сравнить параметры рассеяния, то очень даже есть.

Я для себя пришел к выводу, что в той предметной области в которой я работаю(от медицины отличается весьма существенно - и объемом данных, и скоростью процессов и даже их разнообразия), различать выборки по одной из статистик - будь-то среднее, медиана, дисперсия, автокорреляция, показатель Херста, энтропия и пр.... практически никогда не гарантирует нам правильности ответа на любом приемлемом уровне достоверности. Просто потому, что переходя к таким статистикам мы попросту отбрасываем очень много информации, которая присутствует в исходном датасете. В идеале (не достижимом, по крайней мере я не знаю как это сделать) было бы прямое получение ответа при учете всей информации, т.е. непосредственно по всем значениям выборок. Подходы, которые "теряют" наименьшее количество исходной информации - из понятных мне - это подходы на основе анализа эмпирической функции распределения и эмпирического частотного распределения (гистограммы). Вот они способны дать наиболее "правдоподобные" ответы на вопрос об однородности выборок. Было бы интересно услышать мнение коллег на сей счет и обсудить такую парадигму.
Только вот еще раз - не уверен, что заставлять врачей (пусть даже кандидатов в кандидаты наук) разбираться в этих вопросах - считаю не просто не нужным, но и вредным трендом. Врач должен лечить, пусть даже придумывая новые методы и подходы к лечению, но анализировать результаты (для доказательности результатов) должны люди, не имеющие непосредственного интереса к результатам исследования - статистики, специалисты по анализу данных, математики. С советующими образованием, навыками и интересами. Тогда и результаты будут точнее, и манипуляций будет меньше, и зависимости от математической эрудиции членов медицинских советов будет меньше.

Сообщение отредактировал passant - 20.07.2022 - 11:53

[ИНО]

Я для себя пришел к выводу, что... различать выборки по одной из статистик - будь-то среднее, медиана, дисперсия, автокорреляция, показатель Херста, энтропия и пр.... практически никогда не гарантирует нам правильности ответа на любом приемлемом уровне достоверности.

Вы забыли сформулировать вопрос. А то, может, критерии вполне годно отвечают, но совсем не на тот, который интересует Вас. Например, доказано теоретически им многократно подтверждено моделированием, что при соблюдении допущений (и даже при небольшом отклонении от них) старый добрый критерий Стьюдента является наиболее мощным для проверки однородности математических ожиданий (а это самая популярная проблема прикладной статистики). Критерии, использующие эмпирическую функцию распределения, например критерий Смирнова, для этой конкретной задачи будут иметь сильно меньшую мощность. На самом деле, чем уже мы формулируем гипотезы (как нулевую так и альтернативную), тем большей мощности можем достичь при проверке. Например, если стоит задача проверить однородноть всех параметров распределения можно последовательно сравнить две выборок оп целому ряду критериев, проверяющих по отдельности равенство средних, дисперсий, асимметрии, эксцесса и др., а затем, чтобы не идти на компромисс с совестью, провести коррекцию уровня значимости для множественных сравнений тем или иным методом (путь А). Либо сразу применить, например, критерий Смирнова (путь Б). В и тоге в первом и втором случаях порядок достигаемого уровня значимости окажется б. м. сопоставимым (с критерием Смирнова p скорее всего получится все ж поменьше, но это только потому что так и не изобрели по-настоящему корректного метода контроля ошибки первого рода для множественных сравнений). Если же мы интересуемся различиями только в одном из параметров, например матожиданиях, то применяем, например, критерий Стьюдента и на этом останавливаемся, получая на порядок большую мощность (путь В). Часто встречающееся лукавство исследователей состоит в том, что они идут по пути А, а когда находят значимое различие в одном из параметров, забывают о всех прочих проведенных тестах и делают вид, что шли по пути В.

[passant]

Вы забыли сформулировать вопрос. А то, может, критерии вполне годно отвечают, но совсем не на тот, который интересует Вас. Например, доказано теоретически им многократно подтверждено моделированием, что при соблюдении допущений (и даже при небольшом отклонении от них) старый добрый критерий Стьюдента является наиболее мощным для проверки однородности математических ожиданий (а это самая популярная проблема прикладной статистики). Критерии, использующие эмпирическую функцию распределения, например критерий Смирнова, для этой конкретной задачи будут иметь сильно меньшую мощность. На самом деле, чем уже мы формулируем гипотезы (как нулевую так и альтернативную), тем большей мощности можем достичь при проверке. Например, если стоит задача проверить однородноть всех параметров распределения можно последовательно сравнить две выборок оп целому ряду критериев, проверяющих по отдельности равенство средних, дисперсий, асимметрии, эксцесса и др., а затем, чтобы не идти на компромисс с совестью, провести коррекцию уровня значимости для множественных сравнений тем или иным методом (путь А). Либо сразу применить, например, критерий Смирнова (путь Б). В и тоге в первом и втором случаях порядок достигаемого уровня значимости окажется б. м. сопоставимым (с критерием Смирнова p скорее всего получится все ж поменьше, но это только потому что так и не изобрели по-настоящему корректного метода контроля ошибки первого рода для множественных сравнений). Если же мы интересуемся различиями только в одном из параметров, например матожиданиях, то применяем, например, критерий Стьюдента и на этом останавливаемся, получая на порядок большую мощность (путь В). Часто встречающееся лукавство исследователей состоит в том, что они идут по пути А, а когда находят значимое различие в одном из параметров, забывают о всех прочих проведенных тестах и делают вид, что шли по пути В.

Спасибо. В Вашем сообщении я нашел много пищи для размышления. Вроде бы и все отдельно само по себе известно и понятно, но вы как-то так все сформулировали, что у меня (по крайней мере в первом приближении) сложился пазл, нарисовался план дальнейших движений. Действительно, спасибо!

Впрочем, может еще кто из коллег захочет высказаться - буду слушать (читать) с благодарностью.