Здравствуйте!
Проводим на животных (здоровых и больных) тестирование 3-х приборов: сначала измеряем одним ? образцовым, затем двумя опытными. Сняли 100 троек измерений, рассчитали разность между показаниями опытных и образцового, получилась таблица:
Нажмите для просмотра прикрепленного файла
Распределения в выборках отличны от нормального. Как оценить есть ли статистическая разница между показаниями опытных приборов?
Спасибо.

Здравствуйте! По анализу таких баз данных нужно не только сравнивать средние значения, но и все остальные параметры. Более того, по таким базам данных нужно производить и все остальные методы анализа. Которые и обнаруживают скрытые зависимости всех этих признаков. То есть использовать не только парные методы анализа, но и разные многомерные методы анализа. Вот и у нас, по аналогичной базе данных, 5 лет назад провели много методов анализа в НЦ БИОМЕТРИКА. И в результате установили наличие нелинейных зависимостей реально всех количественных признаков. Также обнаружили и наличие нескольких разных подгрупп, которые как раз и отличаются между собой. И поэтому рекомендую вам использовать эти нелинейные зависимости, и методы многомерного статистического анализа.

Да мне бы с простейшим разобраться. Работаю в PAST. Вставляю свои колонки "Разность 1" и "Разность 2", далее: Univariate -> Two sample tests -> Two sample tests. Смотрю t-test: p=1E-17. Это я сравнил средние разности и получил достоверное различие? Или в моем случае надо использовать "Two sample paired tests"?
Проверяю на нормальность: Univariate -> Normality tests. Shapiro-Wilk для "Разность 1" дает p=0,005; для "Разность 2" дает p=0,2. Одна выборка не нормальная, вторая - нормальная. Результаты t-test использовать можно?

Поскольку один и тот же объект (животное) трижды порождает экспериментальный материал, то выборки считаются связанными. Т.е. необходимо использовать "Two sample paired tests".

Он не требует проверки классических условий применения теста Стьюдента для независимых выборок - нормальности распределения и равенства дисперсий. Поэтому с проверкой нормальности не заморачивайтесь.

К слову сказать, тестовый прибор здесь и не нужен. Алгебраически (т.е. если мы начнем явно проговаривать вероятностно-статистичекую модель порождения данных) ваша задача все равно сводится к разности показаний 2-го и 3-го приборов.

Спасибо большое, все начинает проясняться. Позволю задать еще несколько вопросов для уточнения.
Первый вопрос применительно к моим двум разностям и "Two sample paired tests". А что сравнивает этот тест? Правильно ли я понимаю, что получив в этом тесте p<<0,01 можно утверждать, что "Разность 1" и "Разность 2" различаются статистически значимо? Тест также дает среднее значение "Разность 1" = 0,5 и "Разность 2" = 5. Можно ли при этом утверждать, что среднее значение "Разность 1" и "Разность 2" различаются высоко статистически значимо? Или для этого нужен еще тест?

Второй вопрос применительно к Вашему "задача все равно сводится к разности показаний 2-го и 3-го приборов". Тогда в таблице будет всего одна колонка "Разность 1-2" и как ее оценивать? Если взять "One sample tests", то там надо ввести "Given mean". Если полагать, что разницы нет, то ввожу 0, получаю p<<0,01; "Sample mean" = -4,5 и заключение "Means are significantly different". Т.е. вывод: показания 2-го и 3-го приборов различаются статистически значимо, средняя разница -4,5. Верно?

И последнее. Можно ли использовать данные техники для определения различий не по всей выборке, а по диапазонам показаний образцового прибора?

Отличие от нуля среднего разностей двух связанных выборок.



Правильно.



Можно.



Не нужен.



"One sample tests"



Верно.



Можно. Но есть одна тонкость.
Если разбиение шкалы прибора на диапазоны возможно только единственным образом (т.е. любой другой исследователь будет делать только так, а не иначе, в чем я сомневаюсь), то тогда фактор "Поддиапазон шкалы прибора" будет иметь т.н. "фиксированный" эффект, и задача сведется к двухфакторному дисперсионному анализу с фиксированными эффектами. Если же шкала разбивается на поддиапазоны произвольно, то говорят о т.н. "случайном" эффекте. Это потребует изошренной статистической техники под обобщающим названием "Mixed effect model". Не уверен, что PAST обсчитывает такие вещи, не уверен, что вы хоть что-то поймете в результатах оценивания такой модели.

Добавлю ещё.
1) Так как объём выборки неплохой (100 измерений) может быть полезным посмотреть распределение разности, достаточно визуально. Техническая изменчивость имеет свои особенности и с ней также можно разбираться и работать. Например, может оказаться, что распределение такой разности не унимодальное, а бимодальное или полимодальное (у меня такое было). С этим можно разбираться: что порождает дополнительные моды, которые скорее всего центры других распределений. Если есть подозрения, что в разных диапазонах различия между методами меняются, то как раз на гистограммах это можно увидеть и даже наметить границы этих диапазонов: не искусственно, а опираясь на сами данные. Можно даже выполнить разделение смеси распределений, PAST это делает ЕМ-алгоритмом.

2) Пакет PAST хорош тем, что содержит во многих модулях ресэмплинг-техники, что современно и полезно. Если окажется, что разность показаний распределена унимодально или нет желания заморачиваться с этими модами, то можно вычислить для неё 95%-ный доверительный интервал бутстрепом (лучше методом процентилей - Percentile). Если он не будет содержать ноля, значит на 5%-ном уровне значимости можно отклонять гипотезу об отсутствии различий в измерениях разными приборами. Это будет вполне самостоятельный и непараметрический тест на сравнение зависимых выборок.

3) В Лабораторном практикуме рассматривается сравнение и зависимых выборок, и построение ДИ бутстрепом, и анализ распределения с разделением смеси: https://disk.yandex.ru/d/g50i73pt3J6pAa

Спасибо огромное!



Спасибо. Это и скачал, пробую разобраться.

Кажется, что вы забыли задать (и ответить на) более важный вопрос: "Отличаются ли показания опытных приборов от образцового ?"

Да, теперь, зная как сравнить показания опытных приборов, прихожу к вопросу: а можно ли использовать "One sample tests" для сравнения любых парных разностей в моих измерениях?

Добрый день.
Подскажите, могу ли я сравнить две независимые группы по 104 и 14 наблюдений в каждой? мне нужно удостовериться в различии средних. Подойдет ли Мана-Уитни для этих целей? Просто конкретно для данного параметра так мало данных доступно.

Это называется несбалансированные выборки. Да, такие результаты сравнивать теоретически можно, и любой подходящий критерий - тем более непараметрический - применять тоже можно. Вот только к полученным результатам относиться надо с большой осторожностью. Кое что о похожих ситуация обговаривают тут https://ru-spss.livejournal.com/94838.html
Учитывая, что в первой выборке у вас значений несколько многовато для М-У, я бы попробовал провести ряд расчетов, выбирая каждый раз случайную подвыборку из первой выборки, и уж потом-бы делал выводы.

Не подойдет, поскольку не сравнивает средние. В данном случае можно вполне юзать критерий рандомизации (версию Монте-Карло) или бутсреп на основе разности средних. Также вполне можно проверить нормальность в большей выборке критерием Шапиро-Уилка и в случае принятия нулевой гипотезы, предположить, что и во второй выборке она есть (если данные похожего происхождения), далее - критерий Уэлча. Если же гипотеза нормальности уверенно отклоняется, рекомендую посмотреть на форму распределения и поразмыслить, какая мера положения в данном случае будет иметь больший смысл. Далеко не всегда это среднее арифметическое.

Вот это понятно) спасибо !

Вот это не очень? а в данном случае так необходимо именно средние сравнивать?

Так это Вы сами должны разобраться, что Вам в Вашем "данном случае" нужно сравнивать.

Вынужден немного подправить свой ответ. Точнее он будет звучать вот так: " такие (с несбалансированными выборками) результаты сравнивать теоретически можно, и любой подходящий критерий применять тоже можно - естественно для тех гипотез, которые они анализируют". Напомню, что критерий Манна-Уитни анализирует НЕ гипотезу о равенстве средних, а гипотезу о принадлежности двух выборок одной генеральной совокупности. Не более и не менее.

И снова не совсем так. Если честно, я сам затрудняюсь сформулировать словами его нулевую и альтернативные гипотезы. Что-то там про медиану разностей. Но что более важно, так это допущение критерия: формы сравниваемых распределений должны быть одинаковы. Это сильное допущение, в связи с невыполнением которого многие случае применения этого критерия в исследованиях следует признать неправомерными.

Мысль очень интересная. Честно говоря взглянуть с этой стороны как-то пока в голову не приходило. Про медиану и пр. я конечно в курсе. Но мне представляется, что критерий М-У - это про сдвиг "параметра положения", что не тождественно ни среднему (разумеется), ни медиане. Про формы распределения как бы речи не идет. Сейчас бегло просмотрел несколько источников - нет упоминаний. Странно. Если формы одинаковы, то тогда даже интуитивно понятно, что такое сдвиг распределения и о чем он говорит. А вот если нет? Ведь декларируется, что критерий этот "свободен от распределения". Получается, что не совсем. Конечно интуитивно ожидаемо, что даже при одинаковой области значений выборок но разных асимметриях этот самый "параметр положения" должен бы сместиться в сторону асимметрии. А вот при - например - для пары нормальное распределение/бимодальное распределение, и тем более для пар с произвольными, не "классическими" распределениями, он (в частном случае) может остаться без изменений.
Наверное стоит немного покопать в этом направлении. Но эта задаче - точно не для автора вопроса. Пусть применяет критерий с поправкой на несбалансированность и не щекочет нервы членам совета.
(Вообще, мне почему-то кажется, что заставлять врачей столь серьезно углубляться в тонкости анализа данных - это какое-то садистское извращение. Врач должен лечить, а не статистику изучать. Но это уже философия. )

Нет там не разность между медианами, а именно некая медиана разлимчий. По краней мере это вытекает из определения оценки Ходжеса-Лемана, данной в учебнике Холлендара и Вульфа (старое советское переводное издание). А вот в описании критерия Манна-Уитни проверяемая гипотеза словами толком не изложена. Равно как и в иных известных мне русскоязычных источников. А с анлоязычными у меня возникают трудности перевода. Но допущение об одинаковой форме распределений точно существует. Если оно нарушается, формальный достигаемый уровень значимости не соответствует реальному. Об этом четко и ясно сказано во всех серьезных кригах: помимо вышеупомянутой, у Орлова, Эрве и многих других. По этой причине (а также из-за малой мощности при большом количестве связок) я редко использую данный критерий и не особо вникал в его суть. Фрэнк Харрелл утверждает, что критерии М-У и К-У являются частным случаем модели пропорциональных шансов, которая допускает сколько угодно независимых переменных и нечувствительна к связкам, к тому же практически всегда имеющее место на практике "нарушение допущения о пропорциональности не является фатальным" (чтобы это не значило). То бишь, если я правильно понял, лучше вместо этих критериев всегда юзать ее. К тому же существует куча моделей непропорциональных шансов, где сильных допущений вообще нет. Но это все для случаев, когда зависимая переменная - упорядоченная категория. Если же это измерения в интервальной интервальной шкале или результаты подсчетов, то вообще едва ли на сегодняшний день имеет смысл рассматривать ранговые методы, поскольку существует куча методов ресамплинга и "ненормальной" параметрики. Разве что ранговые коэффициенты корреляции все еще востребованы.

Случайно дубль поста вышел. Удалить никак?

Учитывая развернувшееся обсуждение, позволю себе выложить пару ссылок, которые могут быть полезны в последующих обсуждениях.

1. Описание критерия Манна-Уитни, что он умеет и чего не умеет. Рассмотрены случаи с медианами.
2. Вариант использования proportional odds regression для непрерывной зависимой переменной.

Статья забавная, но ничего не доказывающая. Пара методических соображений после ее изучения.
1. Стоит вопрос об однородности выборок, которые считают авторы. Надо посчитать параметры положения, масштаба (рассеяния) и их ошибки и показать, что выборки однородны. Т.е. каждая варианта выборки, вообще говоря, не взята с потолка, а является измерением того же самого экспериментального параметра.
2. Если сравнивать параметры положения, то различий таких искусственных выборок, как в статье, нет. Но если сравнить параметры рассеяния, то очень даже есть.

Я для себя пришел к выводу, что в той предметной области в которой я работаю(от медицины отличается весьма существенно - и объемом данных, и скоростью процессов и даже их разнообразия), различать выборки по одной из статистик - будь-то среднее, медиана, дисперсия, автокорреляция, показатель Херста, энтропия и пр.... практически никогда не гарантирует нам правильности ответа на любом приемлемом уровне достоверности. Просто потому, что переходя к таким статистикам мы попросту отбрасываем очень много информации, которая присутствует в исходном датасете. В идеале (не достижимом, по крайней мере я не знаю как это сделать) было бы прямое получение ответа при учете всей информации, т.е. непосредственно по всем значениям выборок. Подходы, которые "теряют" наименьшее количество исходной информации - из понятных мне - это подходы на основе анализа эмпирической функции распределения и эмпирического частотного распределения (гистограммы). Вот они способны дать наиболее "правдоподобные" ответы на вопрос об однородности выборок. Было бы интересно услышать мнение коллег на сей счет и обсудить такую парадигму.
Только вот еще раз - не уверен, что заставлять врачей (пусть даже кандидатов в кандидаты наук) разбираться в этих вопросах - считаю не просто не нужным, но и вредным трендом. Врач должен лечить, пусть даже придумывая новые методы и подходы к лечению, но анализировать результаты (для доказательности результатов) должны люди, не имеющие непосредственного интереса к результатам исследования - статистики, специалисты по анализу данных, математики. С советующими образованием, навыками и интересами. Тогда и результаты будут точнее, и манипуляций будет меньше, и зависимости от математической эрудиции членов медицинских советов будет меньше.

Вы забыли сформулировать вопрос. А то, может, критерии вполне годно отвечают, но совсем не на тот, который интересует Вас. Например, доказано теоретически им многократно подтверждено моделированием, что при соблюдении допущений (и даже при небольшом отклонении от них) старый добрый критерий Стьюдента является наиболее мощным для проверки однородности математических ожиданий (а это самая популярная проблема прикладной статистики). Критерии, использующие эмпирическую функцию распределения, например критерий Смирнова, для этой конкретной задачи будут иметь сильно меньшую мощность. На самом деле, чем уже мы формулируем гипотезы (как нулевую так и альтернативную), тем большей мощности можем достичь при проверке. Например, если стоит задача проверить однородноть всех параметров распределения можно последовательно сравнить две выборок оп целому ряду критериев, проверяющих по отдельности равенство средних, дисперсий, асимметрии, эксцесса и др., а затем, чтобы не идти на компромисс с совестью, провести коррекцию уровня значимости для множественных сравнений тем или иным методом (путь А). Либо сразу применить, например, критерий Смирнова (путь Б). В и тоге в первом и втором случаях порядок достигаемого уровня значимости окажется б. м. сопоставимым (с критерием Смирнова p скорее всего получится все ж поменьше, но это только потому что так и не изобрели по-настоящему корректного метода контроля ошибки первого рода для множественных сравнений). Если же мы интересуемся различиями только в одном из параметров, например матожиданиях, то применяем, например, критерий Стьюдента и на этом останавливаемся, получая на порядок большую мощность (путь В). Часто встречающееся лукавство исследователей состоит в том, что они идут по пути А, а когда находят значимое различие в одном из параметров, забывают о всех прочих проведенных тестах и делают вид, что шли по пути В.

Спасибо. В Вашем сообщении я нашел много пищи для размышления. Вроде бы и все отдельно само по себе известно и понятно, но вы как-то так все сформулировали, что у меня (по крайней мере в первом приближении) сложился пазл, нарисовался план дальнейших движений. Действительно, спасибо!

Впрочем, может еще кто из коллег захочет высказаться - буду слушать (читать) с благодарностью.