Сравнение частот ОДНОГО и ТОГО ЖЕ распределения(?) Опции

[Liz]

Должность (категориальная величина) - Зарплата (количественная; руб):
вахтёр - 10 000
завхоз - 25 000
инженер - 20 000
директор - 300 000
Каким МЕТОДОМ показать, что зарплата директора отличается от других статзначимо?

[TheThing]

Интересная тема развивается

1. Я считаю, что проверять отклонение от нормальности распределения данных с помощью тестов на нормальность распределения при экстремально маленьких выборках не имеет особого смысла, поскольку эти тесты не обладают достаточной мощностью при таких размерах выборки, чтобы идентифицировать эти самые отклонения от нормальности. Так, например, тест Шапиро-Уилка не способен отличить распределение Гаусса, Пуассона, равномерное распределение при размере выборки в 6 наблюдений (что говорить про 3?):

CODE

shapiro.test(rnorm(6)) # нормальное распределение
shapiro.test(rpois(6,4)) # Пуассона
shapiro.test(runif(6,1,10)) # Равномерное
shapiro.test(rexp(6,2)) # экспоненциальное
shapiro.test(rlnorm(6)) # лог-нормальное

Только лишь в последнем случае половина значений меньше 0,05. Существуют определенные расчеты, что минимальный размер выборки для теста Kolmogorov-Smirnov - 5 и более наблюдений, для Shapiro-Wilk - 7 и более, для D'Agnostino - 8 и более наблюдений. Если мы хотим узнать минимальный размер выборки для теста Шапиро-Уилка с определенной мощностью, можно написать следующее:

CODE

results <- sapply(5:50,function(i){
p.value <- replicate(100,{
y <- rexp(i,2)
shapiro.test(y)$p.value
})
pow <- sum(p.value < 0.05)/100
c(i,pow)
})

и затем построить график:

CODE

plot(lowess(results[2,]~results[1,],f=1/6),type="l",col="red",
main="Power simulation for exponential distribution",
xlab="n",
ylab="power"
)

По графику можно определить, что для того, чтобы отличть экспоненциальное распределение от нормального с мощностью 80%, нужно около 20 наблюдений.

2. По-моему, определять нормальность распеделения с помощью тестов на нормальность распределения при больших выборках не имеет смысла, поскольку даже минимальные отклонения от идеального Гауссовского распределения будут приводить к статистически значимым отличиям.

CODE

x <- replicate(100,{
c(
shapiro.test(rnorm(10)+c(1,0,2,0,1))$p.value,
shapiro.test(rnorm(100)+c(1,0,2,0,1))$p.value,
shapiro.test(rnorm(1000)+c(1,0,2,0,1))$p.value,
shapiro.test(rnorm(5000)+c(1,0,2,0,1))$p.value
)
}
)
rownames(x)<-c("n10","n100","n1000","n5000")

rowMeans(x<0.05) # пропорция значимых оклонений
n10 n100 n1000 n5000
0.04 0.04 0.20 0.87

Вот р-значения:
n10 n100 n1000 n5000
0.760 0.681 0.164 0.007

Из чего следует, что при n=5000, 87% - это вовсе не нормальное распределение, хотя по Q-Q графикам этого не скажешь.


К тому же, при больших выборках тесты Стьюдента или ANOVA являются робастными к "ненормальности" данных.

3. Вся идея о нормальности распределения - это лишь математическая аппроксимация, но в реальном мире я не знаю ни одну величину, которая бы на 100% соответсвовала Гауссовскому распределению, но есть величины, которые "достаточно близко" распределены к нормальному. Однако, если мы зараннее знаем, что нет величин, которые бы на 100% соответствовали нормальному распределению, что особенного в том и какую информацию мы получим, если отклоним или не сможем отклонить нулевую гипотезу?

4. И самое главное. Существует очень распространенное заблуждение (особенно в отечественных изданиях) о том, какую информацию предоствляют тесты на нормальность распределения и какой ответ хочет получить исследователь. Тесты на нормальность распределения отвечают на следующий вопрос: "Существует ли достаточно доказательств относительно каких-либо отклонений от Гауссовского распределения?". При достаточно больших выборках ответ будет всегда да! Исследователи же ставят очень часто совершенно иной вопрос: "Мои данные достаточно отклоняются от нормального идеального распределения, чтобы запретить мне использовать тест, который подразумевает Гауссовское распределение?" Это очень похожая ошибка как при трактовке р-значений, а именно: H0|D & D|H0, где Н0 - нулевая гипотеза, D - данные. Исследователи хотят, чтобы тесты на нормальность распределения были неким судьей, который бы решал, в каких случаях использовать ANOVA, а в каких лучше отказаться от дисперсионного анализа и перейти к трансформациям данных, использованию ресамплинга, бутстрепа, непараметрических тестов и т.д. Но тесты на нормальность распределения не были созданы для этих целей. "При р-значении > 0,05 "остаемся" на ANOV'e, при р < 0,05 - идем в непараметрические" - это плохая практика!

P.S. Сорри, что так много написал...соскучился за форумом

Сообщение отредактировал TheThing - 26.06.2013 - 18:52

[nokh]

...
2. По-моему, определять нормальность распеделения с помощью тестов на нормальность распределения при больших выборках не имеет смысла, поскольку даже минимальные отклонения от идеального Гауссовского распределения будут приводить к статистически значимым отличиям.
...
3. Вся идея о нормальности распределения - это лишь математическая аппроксимация, но в реальном мире я не знаю ни одну величину, которая бы на 100% соответсвовала Гауссовскому распределению, но есть величины, которые "достаточно близко" распределены к нормальному. Однако, если мы зараннее знаем, что нет величин, которые бы на 100% соответствовали нормальному распределению, что особенного в том и какую информацию мы получим, если отклоним или не сможем отклонить нулевую гипотезу?
...
Исследователи хотят, чтобы тесты на нормальность распределения были неким судьей, который бы решал, в каких случаях использовать ANOVA, а в каких лучше отказаться от дисперсионного анализа и перейти к трансформациям данных, использованию ресамплинга, бутстрепа, непараметрических тестов и т.д. Но тесты на нормальность распределения не были созданы для этих целей. "При р-значении > 0,05 "остаемся" на ANOV'e, при р < 0,05 - идем в непараметрические" - это плохая практика!

Всё это так! Но как нам с этим жить?! Как у пользователя статистики передо мной такого вопроса не стоит: я знаю какие плоды она в состоянии принести и использую этот инструмент как считаю нужным. Обнаружив, играя на своём поле, что-то интересное, и не имея возможности "брать" уникальностью материала и тонкостью дорогостоящих методов, я использую доступные средства и часто просто превентивно бью потенциальных оппонентов статистикой, проводя те идеи, к которым пришёл (обычно с её же помощью) . А вот преподавать некоторые вещи очень сложно! Как говорить студентам, что почти любые различия, связи и зависимости мы можем подтвердить статистически - вопрос лишь в объёме выборки? Что все наши самые точные утверждения ненадёжны, а надёжные - неточны? Или что технология, которой мы поверяем свои маленькие научные открытия - жуткий гибрид двух конкурирующих концепций, родившийся в муках непонимания статистики практиками? И если со своей позицией здесь я давно определился (мне по натуре всегда ближе индуктивный подход), то студентам даю рецепты именно в духе "если Р<0,05, то одно, если P>0,10 - то другое". А есть что-то лучше? Если мы докажем с высокой статистической значимостью увеличение медианы выживаемости онкобольных на 1 день, врачи не воспримут это всерьёз, противопоставив статистической значимости клиническую. А у нас при выборе того или иного метода нет подобного критерия, кроме как здравого смысла, который сложно формализовать.

PS. Прошу прощения за слезу, не сдержался...

Сообщение отредактировал nokh - 27.06.2013 - 19:05

[TheThing]

Всё это так! Но как нам с этим жить?! Как у пользователя статистики передо мной такого вопроса не стоит: я знаю какие плоды она в состоянии принести и использую этот инструмент как считаю нужным. Обнаружив, играя на своём поле, что-то интересное, и не имея возможности "брать" уникальностью материала и тонкостью дорогостоящих методов, я использую доступные средства и часто просто превентивно бью потенциальных оппонентов статистикой, проводя те идеи, к которым пришёл (обычно с её же помощью) . А вот преподавать некоторые вещи очень сложно! Как говорить студентам, что почти любые различия, связи и зависимости мы можем подтвердить статистически - вопрос лишь в объёме выборки? Что все наши самые точные утверждения ненадёжны, а надёжные - неточны? Или что технология, которой мы поверяем свои маленькие научные открытия - жуткий гибрид двух конкурирующих концепций, родившийся в муках непонимания статистики практиками? И если со своей позицией здесь я давно определился (мне по натуре всегда ближе индуктивный подход), то студентам даю рецепты именно в духе "если Р<0,05, то одно, если P>0,10 - то другое". А есть что-то лучше? Если мы докажем с высокой статистической значимостью увеличение медианы выживаемости онкобольных на 1 день, врачи не воспримут это всерьёз, противопоставив статистической значимости клиническую. А у нас при выборе того или иного метода нет подобного критерия, кроме как здравого смысла, который сложно формализовать.

PS. Прошу прощения за слезу, не сдержался...

Мне кажется, что студентам главное заложить прочный фундамент, а со временем, если они захотят углубиться в тот или иной вопрос и осознать, насколько в статистике все не однозначно и порой запутано, они сами поднимут литературу, посидят на хороших стат. форумах, осознают сложность вопроса и начнут придерживаться определенной точки зрения. А для начала - р < 0.05 - "поди туда", р > 0.05 - "поди обратно" - это нормальное начало, через которое многие прошли (я в том числе ). Но если у студентов спрашиваешь, как они бы определили р-значение:
1)вероятность, что полученные результаты чисто случайны, вероятность того, что нулевая гипотеза (H0) является истиной;
2)вероятность, что полученные результаты не случайны, вероятность того, что H0 является ложной гипотезой;
3)вероятность наблюдаемых результатов (или более экстремальных), если нулевая гипотеза верна;
4)вероятность того, что идентичные результаты будут получены если провести эксперимент во второй раз;
5)ничего из выше перечисленного.

80% студентов факультета прикладной статистики университета Sussex в Великобритании отвечают, что 1 вариант, когда правильным является конечно 3, мне даже страшно представить, какой процент будет у наших студентов (можем провести эксперимент ). Потом они защищают дипломы, получают PhD, пишут книги, проводят стат. расчеты другим и, приблизительно в такой способ, распространяются многие заблуждения в области статистики. Поэтому я - за прочный фундамент.

А относительно врачей...те врачи, которые мне встречались, они вообще статистику не считают наукой..это так, некий способ получить р< 0.05 для своей диссертации, "вторая лженаука после религии" и т.д. Сложно с ними..

[nokh]

...Поэтому я - за прочный фундамент.

Ну вот как-то так и закладываем

А относительно врачей...те врачи, которые мне встречались, они вообще статистику не считают наукой..это так, некий способ получить р< 0.05 для своей диссертации, "вторая лженаука после религии" и т.д. Сложно с ними..

На одном форуме был такой же он-лайн опрос, только в пункте 3 про экстремальные ничего не говорилось. Не помню: не то за 5 проголовал, не то вообще не стал участвовать.
А у меня с врачами по-разному: от "о чём вообще разговор, ещё статистика мы в соавторы не брали!" до тех кто спустя несколько лет продолжает боготворить и чуть ли не молится. Но в целом, картина не такая безрадостная: много реально заинтересованных людей, причём которые, в отличие от меня, не просто хотят докопаться до ответа на вопрос, но ещё и внедрить результат. Может мне так везёт, потому что в условиях лени и дефицита времени берусь за сопровождение избирательно...