Вопрос на засыпку, Знатокам статистики Опции

[YVR]

А вопросов больше нет

Не думаю, что Нюрнбергский процесс поставил точку в вопросе медицинских исследований на людях.


У тех, кто занимается лечением симтомов, вместо причин и применением отсебятины в статистике, вопросов быть не может, т.к. в качестве ответа на любые вопросы у них есть отсебятина.

К "специалистам" из области "доказательной" медицины у меня тоже вопросов нет, т.к. их по вышеуказанной причине спрашивать о чем либо бесполезно.


Зато есть ответы у меня.

Ладно, не буду томить живодеров и садистов из области "доказательной" медицины, которая на самом деле является всего лишь банальным антигуманным бизнесом, контролируемым и управляемым фармацевтическими компаниями. А термин "доказательная" не более чем фиговый листок на непристойностях этого самого бизнеса.

Если функция:

p = f(x1) = Const

где: p - вероятность некоего события (например, вероятность того, что урожайность помидорных кустов превысит среднестатистический показатель), а x1 - некий фактор (например, химическое удобрение для этих самых кустов, значение бинарное: 1 - вносилось в почву, 0 - не вносилось), то накопленная частота нулевой гипотезы равна 1.

Положим что мы имеем возможность получить также функцию еще от одного фактора (например, от жесткости воды, которой орошали кусты помидоров). Химический состав воды и почвы для каждого участка был получен от ботаников до начала исследования, поэтому дополнительных экспериментов уже не понадобится.

p = f(x2)

Положим, что для f(x2) нулевая гипотеза отклонена по причине низкой накопленной вероятности.

И что толку? Теоретически, поскольку нулевая гипотеза для f(x1) доказана, то вроде бы должно выполняться равенство:

p = f1(x1, x2) = f(x2)

По крайней мере, для теоремы Байеса так оно и есть, ведь x1 не вносит никакой дополнительной информации для p, а соответственно и повлиять на p никоим образом не может. Но нас f(x2) не интересует, т.к. компания производит удобрения и ее благосостояние зависит только от влияния x1 на p и никакие иные факторы независимо от их статистической значимости, никакого значения в данном контексте не имеют.

Казалось бы, плюнуть на это дело и бросить его. Но в теореме Байеса есть одно маленькое существенно "но". Равенство:

p = f1(x1, x2) = f(x2)

справедливо лишь в тех случаях, когда x1 и x2 строго независимы, т.е. x1 не является объясняющей переменной для зависимой переменной x2, а также x2 не является объясняющей переменной для зависимой переменной x1. В случаях когда между x1 и x2 имеется существенная зависимость, теорема Байеса дает не менее существенную погрешность. Впрочем, эта самая теорема нас интересует меньше всего.

Если берем удобрение - одно химическое вещество, смешиваем с водой - второе химическое вещество, получаем третье химическое вещество (например, вода у которой жесткость в той или иной степени нейтрализована химическим реакцией с удобрением), которым поливались помидоры. Проверяем нулевую гипотезу для этого самого третьего химического вещества: p = f(x1, x2) = f(x3).

Положим, что нулевая гипотеза опять же отвергается и для третьего химического вещества. Если это не так, то можно будет проверить нулевую гипотезу и для химического состава почвы: f(x4).

Опять же остановимся на том что некое третье вещество по отвергнутой нулевой гипотезе выявлено. В этом случае задача решена.

Рекомендация для фермеров будет выглядеть так:

Y = f(1, x2) - f(0, x2)

Где:

Y - рекомендация в виде численного значения. Если значение x больше 0, то удобрение необходимо внести в почву. Если меньше 0, то противопоказано.

После чего, компания вывешивает на сайте диалоговую форму с расчетом значения Y. Фермеры могут удаленно замерять на своих участках значение x2 и в соответствии с ним принимать решение о необходимости приобретения удобрения для своих растений.

-------------------------

Выводы: статистическое подтверждение нулевой гипотезы для какого либо фактора (например, лекарственного препарата или иного терапевтического вмешательства) не является доказательством того, что этот самый фактор не влияет на зависимую переменную в сочетании с другими факторами. Хлеще того, отклонение выявленных во всемя клинических исследований нежелательных побочных эффектов по причине того, что они оказались статистически незначимыми, может являться заведомой ошибкой, поскольку в этом случае есть вероятность выплеснуть "ребенка с водой из купели", т.к. дальнейшее выявление этих самых эффектов позволит уточнить противопоказания без дополнительных исследований, что несомненно должно только положительно сказаться на конечном результате.

Проще говоря, многие клинические исследования в том числе и сопровождавшиеся жертвами как в лице больных пациентов, так и братьев наших меньших, по причине того, что накопленная вероятность нулевой гипотезы превысила допустимую норму, можно было и нужно было более детально изучить с учетом влияния различных факторов, а не отвергать. Ведь лечебное средство с выявленными показаниями и противопоказаниями более ценно и качественно, нежели панацея, противопоказания которой были отклонены по уровням статистической значимости.

Сообщение отредактировал YVR - 3.04.2012 - 21:15

[100$]

Вопрос пока остается прежним.

Быть или вовсе не быть - вот в чем разрешенье вопроса (с)

Гамлет, однако.

[DrgLena]

Под собственные аплодисменты, ответив на свой собственный вопрос, обругав при этом сторонников доказательной медицины, имея о ней особое мнение, начните с анализа своего выражения ?исследования полностью рандомизированы?. Интересно, что вы имели в виду? Количества симптомов, которые вы не лечите, нарастают, могут в диагноз перерасти, тогда только хирургически придется удалять манию величия, отсутствие чувства юмора и др. конфаундинги, мешающие воспринимать те истины, которые вы нам поведали.

[p2004r]

курс теовера в технических вузах приносит много больше вреда, чем пользы

в плане полемики: все полезные вычисления над распределением вероятности случайной величины идут в геометрическом виде в режиме --- "на пальцах", а эти алгебраизированные объяснения калечат мозг похоже навсегда.

[100$]

Теперь уже у меня философские вопросы на засыпку.

Кому, когда и при каких обстоятельствах в жизни пригодится эта вербальная диаррея из поста #16?

Что сказать-то хотел?
Что статистика в медицине-это шарлатанство?
Или что медицина - самая точная наука после богословия?

И зачем простенькую гипотезу о средней сводить к бернуллиевской модели?

И почему Колмогоров учил, что вероятность - это функция от элементарного исхода? А не так, как нам тут преподают - что, мол, от химсостава воды и почвы. И вообще, причем тут старые галоши?


P.S. Коллеги, вы просто гипердиагносты. Чел взыскует интеллектуальных развлечений, но не знает, как они выглядят. А вы сразу с диагнозами.

Сообщение отредактировал 100$ - 4.04.2012 - 11:31

[TheThing]

То, что p-value зависит от размера выборки и от величины эффекта, написано в любой хорошей книге по мат. статистике. И если в эксперименте мы получаем p > 0.05 - это не означает, что эффекта нет (хотя часто это можно видеть в работах, публикациях и т.д), а лишь говорит о том, что мы не можем сделать определенный вывод (мы не знаем, то ли выборка маленькая то ли эффект был слишком слабым, в любом случае - недостаточно мощности нашего исследования). Поэтому исследование можно продолжать и следует стараться включить другие возможные факторы (конфаундинги) в анализ, но ведь бывает, что у нас даже намека нет, что это может быть. Например, в генетических исследованиях - 30 миллионов полиморфизмов и неизвестно какие из них ассоциированы с заболеванием, какие тогда должны включаться в анализ, все по-порядку? Р. Фишер всегда старался сделать акцент на том, что единичные исследования (будь то с p < 0.05 или p > 0.05) не могут ничего доказать и всегда стоит провести n-количество исследований и лишь затем делать выводы. А то, что у нас (и на западе) при p <0.05 ликуют и сразу же пишут статью в престижный журнал, что совершили великое открытие - лишь доказывает неосведомленность в этих проблемах. Было достаточно примеров в истории, когда подобные выводы уносили жизни людей.

Поэтому с выводами я согласен, только не понятно, зачем столько агрессии, злобы и оскорблений практически в каждом Вашем посту, YVR?

[YVR]

А то, что у нас (и на западе) при p <0.05 ликуют и сразу же пишут статью в престижный журнал, что совершили великое открытие - лишь доказывает неосведомленность в этих проблемах. Было достаточно примеров в истории, когда подобные выводы уносили жизни людей.

Поэтому с выводами я согласен

Ничего удивительного, что p < 0.05 будет уносить жизни пациентов. p может быть и пренебрежительно малым, однако вот простейший пример, когда экспертная система с таким незначительным p ошибается в 11% случаев (факторов риска не хватает, для большей точности прогноза)



ЭС в аттаче:

 cardio.zip ( 7,09 килобайт ) Кол-во скачиваний: 334


Сообщение отредактировал YVR - 5.04.2012 - 06:59

[DoctorStat]

А то, что у нас (и на западе) при p <0.05 ликуют и сразу же пишут статью в престижный журнал, что совершили великое открытие - лишь доказывает неосведомленность в этих проблемах.

Пусть для случая 2-х независимых исследований, в каждом получена вероятность Pi<0.05, i=1,2 справедливости нулевой гипотезы Н0. Тогда итоговая вероятность справедливости Н0 равна произведению P=P1*P2<5E-4 .

[100$]

Пусть для случая 2-х независимых исследований, в каждом получена вероятность Pi<0.05, i=1,2 справедливости нулевой гипотезы Н0. Тогда итоговая вероятность справедливости Н0 равна произведению P=P1*P2<5E-4 .

А у меня почему-то получилось p < 2.5E-3

[YVR]

Пусть для случая 2-х независимых исследований, в каждом получена вероятность Pi<0.05, i=1,2 справедливости нулевой гипотезы Н0. Тогда итоговая вероятность справедливости Н0 равна произведению P=P1*P2<5E-4 .

Ничего подобного. Если в одной лаборатории получены результаты эксперимента с неким p1, а вторая лаборатория точно репродуицировала аналогичный эксперимент в аналогичных условиях с p2, в этом случае итоговое значение p < Max(p1, p2)

Проще говоря, в одной из лабораторий могли чего-то не учесть или вообще подтасовать результаты (что не является редкостью, если исследователи - лица заинтересованные в результатах, т.к. цель оправдывает средства). Если две разные лаборатории провели аналогичные эксперименты, но с несколько различающимися параметрами, тогда наиболее ближе к истине:

1. Разница в количестве испытаний, тогда более точное (наиболее уточненное) значение p в той лаборатории, где количество испытаний максимально
2. Качество рандомизации, тогда более точное значение p там, где рандомизация была наиболее качественной.

Также, можно объединить результаты из разных лабораторий в одну таблицу сопряженности и вычислить уточненный p

Сообщение отредактировал YVR - 5.04.2012 - 13:34

[100$]

То, что p-value зависит от размера выборки и от величины эффекта, написано в любой хорошей книге по мат. статистике.

В тех же самых книгах по статистике кроме этого написано еще и то, как определить необходимый объем выборки при организации выборочного исследования.

И если в эксперименте мы получаем p > 0.05 - это не означает, что эффекта нет (хотя часто это можно видеть в работах, публикациях и т.д), а лишь говорит о том, что мы не можем сделать определенный вывод (мы не знаем, то ли выборка маленькая то ли эффект был слишком слабым, в любом случае - недостаточно мощности нашего исследования).

То есть, если Н0 не отвергается на принятом уровне значимости, вы затрудняетесь с формулировкой выводов по результатм исследования и честно пишете "не знаю". Верно вас поняли?

[TheThing]

В тех же самых книгах по статистике кроме этого написано еще и то, как определить необходимый объем выборки при организации выборочного исследования.

Да, но для некоторых методов (например логистическая регрессия) эти расчеты очень сложны или вовсе не определены (для логит-регрессии я нашел лишь упрощенные рекомендации).

То есть, если Н0 не отвергается на принятом уровне значимости, вы затрудняетесь с формулировкой выводов по результатм исследования и честно пишете "не знаю". Верно вас поняли?

По моим наблюдениям в работах часто не акцентируется внимание на тех данных, которые получают с p > 0.05, а обсуждают статистически значимые результаты. Но если, например, я провожу корреляционный анализ между двумя переменными и получаю p > 0.05, я не могу сказать, что между ними не наблюдается корреляционной связи или она отсутствует, а лишь то, что в результате своей работы мне не удалось набрать достаточно доказательств, что между переменными наблюдается эта самая статистически значимая связь. В западной литературе при p > 0.05 употребляется термин unconclusive result.

Также вижу следующую проблему: статистически значимый коэффициент корреляции означает, что |r| > 0, если мы принимаем за H0 r = 0. Но, например, практическая значимость коэффициента корреляции r = 0.1 очень близка к r = 0, ведь получается, что коэффициент детерминации 0.01, а значит 1% изменчивости в переменной Y мы можем объяснить с помощью переменной Х при их линейной взаимосвязи. В работе мы получаем статистическую значимую связь (УРРРАА! будет, что шефу показать ) с r = 0.1 (на столь малую величину эффекта мы закрываем глаза, поскольку привыкли дихотомически делить результаты на p <0.05 и p > 0.05).

Если взглянуть на таблицу ниже, можно увидеть, что для того, чтобы "сделать" коэффициент корреляции стат. значимым при r = 0.1 нам потребуется всего 272 наблюдения и вуаля, великое открытие Ценность сего весьма сомнительна, но ведь p < 0.05.


r [R-square] a=0.001 a=0.01 a= 0.05

.005 [.000025] 381980 216476 108223
.01 [.0001] 95494 54119 27057
.05 [.0025] 3818 2165 1084
.1 [.01] 953 541 272

Мне кажется, что основной интерес ученого (исследователя) лежит не в том, чтобы показать, что явление существует (p < 0.05), а увидеть величину этого явления (effect size).

Также прикрепил статью мэтра статистики Jacob Cohen'a, который заложил прочный фундамент в мета-исследования и занимался проблемой величины эффекта и статистической мощностью тестов. Статья называется "The Earth is round, p < 0.05". Проблемность, а зачастую и абсурдность, связанные с NHST (Null Hypothsis significance testing) чувствуется уже из названия

Сообщение отредактировал TheThing - 5.04.2012 - 15:39

Прикрепленные файлы

 Earth_is_Round_p_05__1_.pdf ( 1,1 мегабайт ) Кол-во скачиваний: 295

 

[100$]

Позвольте сделать несколько уточнений.

Да, но для некоторых методов (например логистическая регрессия) эти расчеты очень сложны или вовсе не определены (для логит-регрессии я нашел лишь упрощенные рекомендации).

1. Мы говорили о выборочных исследованиях. В выборочных исследованиях проверяются гипотеза о средней и гипотеза о доле. Бинарный класификатор под названием "логистическая регрессия" в этом смысле выборочным исследованием не является, соответственно рекомендаций о необходимом объеме выборки может и не быть.

Но если, например, я провожу корреляционный анализ между двумя переменными и получаю p > 0.05, я не могу сказать, что между ними не наблюдается корреляционной связи или она отсутствует, а лишь то, что в результате своей работы мне не удалось набрать достаточно доказательств, что между переменными наблюдается эта самая статистически значимая связь. В западной литературе при p > 0.05 употребляется термин unconclusive result.

2.1. Не знаю, что вы называете "доказательствами", но при проверке статистических гипотез доказательством является достигаемый уровень значимости.
2.2. Это что ж получается: вы затратили ресурсы на проведение исследования и выдаете результат из серии "ну, не шмогла я, не шмогла!"?.
2.3. А если связи там действительно нет?

Также вижу следующую проблему: статистически значимый коэффициент корреляции означает, что |r| > 0, если мы принимаем за H0 r = 0. Но, например, практическая значимость коэффициента корреляции r = 0.1 очень близка к r = 0, ведь получается, что коэффициент детерминации 0.01, а значит 1% изменчивости в переменной Y мы можем объяснить с помощью переменной Х при их линейной взаимосвязи. В работе мы получаем статистическую значимую связь (УРРРАА! будет, что шефу показать ) с r = 0.1 (на столь малую величину эффекта мы закрываем глаза, поскольку привыкли дихотомически делить результаты на p <0.05 и p > 0.05).

3. Статистическое исследование - это не сравнение на "больше-меньше", а способ узнать, вызваны ли наблюдаемые различия случайными причинами, или они носят не случайный характер. Определение необходимого объема выборки, выбор номинального уровня значимости, на котором ведется исследование, а также проверяемые гипотезы - все это осуществляется на этапе планирования стат. исследования, т.е. до того, как вы начали перемалывать цифры в статистическом пакете.

Сообщение отредактировал 100$ - 5.04.2012 - 16:42

[TheThing]

Позвольте сделать несколько уточнений.



1. Мы говорили о выборочных исследованиях. В выборочных исследованиях проверяются гипотеза о средней и гипотеза о доле. Бинарный класификатор под названием "логистическая регрессия" в этом смысле выборочным исследованием не является, соответственно рекомендаций о необходимом объеме выборки может и не быть.

Если о выборочных - полностью согласен.

2.1. Не знаю, что вы называете "доказательствами", но при проверке статистических гипотез доказательством является достигаемый уровень значимости.
2.2. Это что ж получается: вы затратили ресурсы на проведение исследования и выдаете результат из серии "ну, не шмогла я, не шмогла!"?.
2.3. А если связи там действительно нет?

2.1. А когда не достигается этот уровень значимости, значит у нас недостаточно доказательств против H0. Я так и написал ведь выше.
2.2 Нехватка доказательств против Н0 - это тоже ведь результат, ничего постыдного в том, что "не шмогла" нет Как Вы предлагаете трактовать ?
2.3 В реальном мире H0 очень редко когда бывает истинной, то есть, что связи нет (если конечно не проводить анализ намеренно между абсурдными переменными). На 4 стр. статьи Кохен пишет, что "Nil hypothsis is aslways false". То есть разницу между средними в 0,00001 можно доказать, как стат. значимую при достаточном количестве наблюдений.

3. Статистическое исследование - это не сравнение на "больше-меньше", а способ узнать, вызваны ли наблюдаемые различия случайными причинами, или они носят не случайный характер. Определение необходимого объема выборки, выбор номинального уровня значимости, на котором ведется исследование, а также проверяемые гипотезы - все это осуществляется на этапе планирования стат. исследования, т.е. до того, как вы начали перемалывать цифры в статистическом пакете.

Абсолютно согласен, но ведь p value вы получаете после перемалывания цифр в стат. пакете и огромное количество людей (если не сказать большинство) с большой надеждой смотрят и ориентируются именно на это значение и очень переживают и не знают, что делать, когда p > 0.05 (потратили ресурсы и не "шмогла"). В то же время, обнаружив разницу между средними в 0,00001 и при р < 0.05 - восторгу нет предела и как вывод "Эта разница не случайна". А что ценного практически в этом?

Сообщение отредактировал TheThing - 5.04.2012 - 18:30

[TheThing]

double post

Сообщение отредактировал TheThing - 5.04.2012 - 18:24