Сравнение частот ОДНОГО и ТОГО ЖЕ распределения(?) Опции

[Liz]

Должность (категориальная величина) - Зарплата (количественная; руб):
вахтёр - 10 000
завхоз - 25 000
инженер - 20 000
директор - 300 000
Каким МЕТОДОМ показать, что зарплата директора отличается от других статзначимо?

[100$]

Самое забавное во всей этой истории заключается в том, что з/платы "работяг" и "управленцев" не являются одинаково распределенными случайными величинами. Есть в статистике, понимаете ли, термин "процесс, порождающий данные" (Data Generating Process (DGP)). Так вот в данном случае здесь два разных DGP. Можно назвать это табелью о рангах, можно-штатным расписанием со своей тарифной сеткой или как-то еще. Во всяком случае з/плата управленца не случайно больше: она по жизни больше (по определению, если хотите). Так что данная задача вообще не должна решаться статистическими методами (по причине отстствия именно фактора случайности), и если кому-то очень надо статистически "доказать", что зарплата директора не случайно на три порядка выше таковой у уборщицы, то флаг ему в руки, как грится...

P.S.
Проверять нормальность при проверке гипотезы о средней - шаманизм (по причине существования ЦПТ (или теоремы Ляпунова)).

Сообщение отредактировал 100$ - 28.06.2013 - 12:57

[TheThing]

Самое забавное во всей этой истории заключается в том, что з/платы "работяг" и "управленцев" не являются одинаково распределенными случайными величинами. Есть в статистике, понимаете ли, термин "процесс, порождающий данные" (Data Generating Process (DGP)). Так вот в данном случае здесь два разных DGP. Можно назвать это табелью о рангах, можно-штатным расписанием со своей тарифной сеткой или как-то еще. Во всяком случае з/плата управленца не случайно больше: она по жизни больше (по определению, если хотите). Так что данная задача вообще не должна решаться статистическими методами (по причине отстствия именно фактора случайности), и если кому-то очень надо статистически "доказать", что зарплата директора не случайно на три порядка выше таковой у уборщицы, то флаг ему в руки, как грится...

P.S.
Проверять нормальность при проверке гипотезы о средней - шаманизм (по причине существования ЦПТ (или теоремы Ляпунова)).

Это действительно забавно

А если взять какой-то другой пример, скажем, у нас есть 2 группы людей - практически здоровые и группа с инфарктом миокарда и нам интересно узнать, стат. значимо ли изменяется какой-то там показатель. Мы ведь по определению знаем, что этот показатель будет больше (скажем ЛДГ) в группе инфарктников, а факторы случайности здесь тоже получается отсутствуют? Мы ведь по определению знаем, что при патологии какой-либо показатель будет отклоняться от "нормы" в ту или иную сторону..
Или зачем проводят процедуру Каплан-Майера с целью доказать, что выживаемость с 1 стадией опухолевого процесса лучше чем с 4? Мы и так это все пракрасно знаем..

P.S. я работаю в гос. учреждении и уверен на 100%, что получаю меньше чем уборщица в какой-то коммерческой компании Я не помню, в условии задачи есть фраза, что все зарплаты из одного учреждения ? Вдруг в выборку управленцев попали такие как я, а в группу уборщиц - супер-пупер уборщицы ? Вот фактор случайности намечается..хотя если посмотреть на зарплаты в задаче, то не намечается..а вообщем..

Сообщение отредактировал TheThing - 28.06.2013 - 13:33

[100$]

Это действительно забавно

А если взять какой-то другой пример, скажем, у нас есть 2 группы людей - практически здоровые и группа с инфарктом миокарда и нам интересно узнать, стат. значимо ли изменяется какой-то там показатель. Мы ведь по определению знаем, что этот показатель будет больше (скажем ЛДГ) в группе инфарктников, а факторы случайности здесь тоже получается отсутствуют? Мы ведь по определению знаем, что при патологии какой-либо показатель будет отклоняться от "нормы" в ту или иную сторону..
Или зачем проводят процедуру Каплан-Майера с целью доказать, что выживаемость с 1 стадией опухолевого процесса лучше чем с 4? Мы и так это все пракрасно знаем..

P.S. я работаю в гос. учреждении и уверен на 100%, что получаю меньше чем уборщица в какой-то коммерческой компании Я не помню, в условии задачи есть фраза, что все зарплаты из одного учреждения ? Вдруг в выборку управленцев попали такие как я, а в группу уборщиц - супер-пупер уборщицы ? Вот фактор случайности намечается..хотя если посмотреть на зарплаты в задаче, то не намечается..а вообщем..

1. Про зарплаты: вот если бы при трудоустройстве и директора, и уборщицы наугад вынимали бы из барабана бумажку со своей будущей зарплатой, то тогда бы фактор случайности наличествовал, и в природе существовала хотя бы одна фирма, где уборщица (весело напевая) моет пол за 300 тыс., а директор (проклиная судьбу) потеет за 25. Мы же имеем диапазон зарплат, устанавливаемых волевым решением человека: скажем диапазон зарплат уборщицы, инженера и т.д. 10-40 тыс., а топов - 300 тыс.-21 млн. Как вы думаете: случайно ли, что эти два множества не пересекаются?

2. Про инфаркты: в международном класификаторе болезней отсутствует понятие "случайный инфаркт". Поэтому, либо динамика показателя(-ей) такова, что дело неминуемо закончится инфарктом, либо в результате инфаркта показатель отклоняется от физиологически нормальной величины. В любом случае мы имеем дело с причиной и следствием. Если же таких причин много, то вот вам бытовая трактовка закона больших чисел (ЗБЧ): при одновременном действии множества случайных факторов результат не зависит от случая.

Но самое забавное заключается в том, что статистика не дает ответа на вопрос о причинах и следствиях. Поясню: например в статистическом анализе временных рядов существует тема о совместном поведении случайных величин, генереруемых разными DGP, так называемая теория коинтеграции временных рядов. В этой теории краеугольным камнем является понятие причинности по Грейнджеру (Granger's causality). При этом настойчиво подчеркивается, что причинность по Грейнджеру не является причиной в философском понимании категорий "причина-следствие". Просто текущие значения одного временного ряда можно прогнозировать при помощи прошлых значений другого.


3.1 Про статистику в медицине: далеко не все имеет смысл усреднять , дабы не получить ту самую среднюю температуру по больнице.
3.2. Сама градация любой патологии (постадийная) отражает степень разрушенности организма. Это вам любой хирург скажет, просто разрезав пациента. Не отвлекая Каплана и Майера.

Сообщение отредактировал 100$ - 28.06.2013 - 15:07

[p2004r]

Но самое забавное заключается в том, что статистика не дает ответа на вопрос о причинах и следствиях.

ну а что тогда показывает http://en.wikipedia.org/wiki/Partial_correlation на достаточно полной группе показателей?

PS ну или когда восстанавливается структура в http://en.wikipedia.org/wiki/Bayesian_network ?

Сообщение отредактировал p2004r - 28.06.2013 - 21:12

[100$]

ну а что тогда показывает http://en.wikipedia.org/wiki/Partial_correlation на достаточно полной группе показателей?

PS ну или когда восстанавливается структура в http://en.wikipedia.org/wiki/Bayesian_network ?

Цепочка рассуждений проста, как мычание: философская связка "причина-следствие" характеризуется направленностью: причина предшествует следствию. Предшествование обусловлено однонаправленностью (т.н."стрелой") времени. Ни вероятность, ни время не определяются друг через друга: в колмогоровскую "тройку" время не входит, в определение вероятности не входит, так что вероятность функцией времени уж точно не является.

Соответственно корреляция (в т.ч. частная) двух с.в. просто по опредеоению ничего не говорит о том, какая из них причина, а какая-следствие.
Что же касается условной вероятности, то как говаривали старики римляне: "после того, не значит вследствие того".

[p2004r]

Соответственно корреляция (в т.ч. частная) двух с.в. просто по опредеоению ничего не говорит о том, какая из них причина, а какая-следствие.
Что же касается условной вероятности, то как говаривали старики римляне: "после того, не значит вследствие того".

1) итак возможность измерить истинную силу связи мы признаем, хорошо

2) что касается направления --- не понимаю чем определение структуры байесовской сети, включающей в себя более менее полную группу переменных описывающих систему, не дает нам основание разрешить "после чего" действительно "вследствии его" да вы агностик однако

[100$]

1) итак возможность измерить истинную силу связи мы признаем, хорошо

Не понимаю природы вашей радости: я вроде бы не отрицал существования феномена стохастической связи (то бишь корреляции), однако корреляция-понятие симметричное (к перестановкам переменных инвариантное), в отличие от связки "причина-следствие". Кроме того, корреляция может быть ложной: http://en.wikipedia.org/wiki/Spurious_relationship

2) что касается направления --- не понимаю чем определение структуры байесовской сети, включающей в себя более менее полную группу переменных описывающих систему, не дает нам основание разрешить "после чего" действительно "вследствии его" да вы агностик однако

Вижу, что не понимаете: теорема Байеса- это способ рассортировать (уже готовые) причины по вероятности их действия.

Н-р, если у вас не заводится машина (такое вот грустное событие-следствие), то еще до обращения к статистике (в т.ч. теореме Байеса, о существовании которой вы можете вообще не подозревать) вы сформируете перечень наиболее вероятных причин (на основе житейского опыта):
1. Отсутствует бензин
2. Сел аккумулятор
3. Накрылся стартер
4. Образовался нагар на свечах
5. Сдохла корова у соседа
6. Происки мировой закулисы
...
115. Взорвалась Фукусима
116. В далеком созвездии Тау Кита родилась сверхновая.

Именно поэтому работники автосервиса могут позволить себе зарабатывать деньги, не апеллируя к теореме Байеса и всему, что с ней связано.

А теперь запишите домашнее задание: погуглить насчет теоремы Байеса и доложить условие ее "работоспособности". Избегая обсуждения (скромного) меня.
Об успехах сообщайте. О неудачах-тоже.
До связи.

[p2004r]

1) ну конечно ложная корреляция тоже "не познаваема"

2) эрго --- условная вероятность ничем не отличается от причинности как её понимает человек. или агностицизм так косит наши ряды?

PS не надо распространять замшелые агностические представления. то что кто то когда то сказал по поводу парного коэффициента корреляции не заслуживает такого обобщения.

PPS а да, раз советы погуглить это традиция, --- погуглите про байесовские сети и методы восстановления их структуры

Сообщение отредактировал p2004r - 30.06.2013 - 23:48

[100$]

1) ну конечно ложная корреляция тоже "не познаваема"

На подобные неорганизованные выкрики с места я не реагирую, но пока "Correlation does not imply causation is a phrase used in science and statistics to emphasize that a correlation between two variables does not necessarily imply that one causes the other."

2) эрго --- условная вероятность ничем не отличается от причинности как её понимает человек.

Не надо вещать от лица человечества: оно в курсе, что формула Байеса-симметрична, и что условная вероятность не выходит за рамки частотного определения вероятности (по фон Мизесу).

PS не надо распространять замшелые агностические представления. то что кто то когда то сказал по поводу парного коэффициента корреляции не заслуживает такого обобщения.

Это вы о чем?

PPS а да, раз советы погуглить это традиция, --- погуглите про байесовские сети и методы восстановления их структуры

То есть за без малого две сотни моих сообщений единичная просьба -это традиция?
И потом, чего мне гуглить-вы же сами ссылку кидали.

Сообщение отредактировал 100$ - 1.07.2013 - 01:25

[TheThing]

"Correlation does not imply causation is a phrase used in science and statistics to emphasize that a correlation between two variables does not necessarily imply that one causes the other."

Мне кажется, что основной акцент при переводе этого выражения стоит сделать на второй части предложения - корреляция НЕ ВСЕГДА (или НЕ ОБЯЗАТЕЛЬНО) означает причинно-следственную связь, она может означать, а может и не означать, мы просто этого не знаем. Слишком много научных открытий было бы "зарыто" и слишком много ошибок второго рода допущено, если бы мы категорически отрицали возможную причинно-следственную связь при коррелции. Например, компании по производству табака, нам радостно сообщают: "ну и что, что была установлена сильная позитивная связь между курением и риском развития рака легких? Курите на здоровье, корреляционная связь не означает причинную" Она как может не означать, так может еще как означать..

Философско-математическая хорошая статья про корреляцию, частную корреляцию и причинно-следственные связи (  95213cf89eaa07726c0e3dbfbb5325df.pdf ( 1,65 мегабайт ) Кол-во скачиваний: 309
)

P.S. Мне сложно согласиться с Вами, что не существует методов статистики, которые бы открывали причинно-следственные связи..(я не про корреляцию)



Сообщение отредактировал TheThing - 1.07.2013 - 02:53

[100$]

Мне кажется, что основной акцент при переводе этого выражения стоит сделать на второй части предложения - корреляция НЕ ВСЕГДА (или НЕ ОБЯЗАТЕЛЬНО) означает причинно-следственную связь, она может означать, а может и не означать, мы просто этого не знаем. Слишком много научных открытий было бы "зарыто" и слишком много ошибок второго рода допущено, если бы мы категорически отрицали возможную причинно-следственную связь при коррелции. Например, компании по производству табака, нам радостно сообщают: "ну и что, что была установлена сильная позитивная связь между курением и риском развития рака легких? Курите на здоровье, корреляционная связь не означает причинную" Она как может не означать, так может еще как означать..

Философско-математическая хорошая статья про корреляцию, частную корреляцию и причинно-следственные связи (  95213cf89eaa07726c0e3dbfbb5325df.pdf ( 1,65 мегабайт ) Кол-во скачиваний: 309
)

P.S. Мне сложно согласиться с Вами, что не существует методов статистики, которые бы открывали причинно-следственные связи..(я не про корреляцию)

TheThing, вы как всегда, рассудительны и мудры, поэтому прошу вас ответить на такую вот анкету:

Ветер дует потому что...
а) деревья качаются
б) наоборот
в) все ответы правильные
г) все ответы неправильные

и в качестве дружеского жеста сообщить, как вы это раскумекали без использования статистики и тестирования гипотез. Возможно, это будет интересно не только мне.

[TheThing]

TheThing, вы как всегда, рассудительны и мудры

Это вряд ли

поэтому прошу вас ответить на такую вот анкету:

но я попробую..

a. Ветер дует потому, что качаются деревья.. Дерево может качаться по тем или иным причинам и создавать при этом определенное движение (потоки) воздуха, но это вряд ли можна назвать ветром, в том смысле, в котором я понимаю сущность ветра..
б. Деревья качаются, потому что дует ветер..Ну это явление я наблюдал чаще всего в жизни, но дерево может качаться не только потому, что дует ветер..а может качаться, когда ветра и вовсе нет (например, стоит дядя Вася возле дерева и пинает его.. )
в. этот вариант сомнителен
г. этот тоже..я бы сказал, все ответы имеют вероятностный ответ..

Но если набрать определенную выборку деревьев, измерить степень их качания, силу ветра, присутствие/отсутствие дядя Васи и многих других факторов + немного здравого рассудка - можно определить, какие факторы в наибольшей мере ассоциированы с качанием деревьев и что есть причиной, а что - следствием. Какие-то такие мои "кумеки"..

И даже если мы справимся с логическими "ловушками", в статистике также нас может подстерегать подобного рода вещи. Например:
Таблица частот людей, которые принимали препарат и достигли улучшения состояния и те, которые не достигли:


Исходя из таблица, люди, которые принимали препарат в большем % достигли улучшения состояния и, как вывод, препарат работает.

Давайте посмотрим теперь на разбивку по полу (мужчины/женщины) во второй таблице:

Видим, что у женщин общий % улучшения состояния уменьшился с приемом препарата. Ага, воскликнет исследователь, значит всему виной мужчины - вот за счет их и происходило значительное улучшение состояния от приема препарата. Но..и у мужчин состояние ухудшалось от приема препарата..Парадоксально, но это явление и известно под Парадоксом Симпсона (ссылка ) и таких парадоксов как в статистике так и в жизни очень много.

Поэтому, мне кажется, что именно комбинация здравого рассудка и статистических моделей может дать нам вероятностное объяснение / причинно-следственную связь того или иного события.