Вопрос на засыпку, Знатокам статистики Опции

[YVR]

В медицине такое вряд ли возможно, поэтому представим, что действия происходят в другой области.

Компания, занимающаяся производством химических удобрений, синтезировала некое химическое соединение. Провели экспресс тестирование в теплицах, оказалось что помидоры хорошо усваивают новый вид удобрения и вроде бы никаких побочных эффектов не выявлено, в том числе и по санитарным нормам для пищевых продуктов, т.е. все уровни содержания вредных веществ в растениях значительно ниже нормы.

Но этого мало. Т.к. удобрение для аграриев доселе неизвестное и не зарекомендовавшее себя, фермеры будут его закупать лишь в том случае, если оно реально повысит урожайность. Репутация среди фермеров у компании есть. Но потерять ее равносильно банкротству, т.к. конкуренция в данном сегменте высока.

Цель эксперимента: выявить влияние удобрения на урожайность. Показателем исследований является среднестатистическая урожайность с куста помидора: выше - результат положительный, ниже - отрицательный. Чтобы провести исследования, компания через интернет наняла нештатных ботаников в разных уголках страны, каждый из которых засеял делянку на открытом воздухе одним и тем же устойчивым сортом помидоров. Все делянки отличались и по анализу почвы и по составу воды, которым эта самая почва орошалась, т.е. двух одинаковых делянок не было. Половине ботаников было выдано новое удобрение, половине безобидное нейтральное вещество. Причем какое конкретно вещество какому ботанику необходимо было выдать, решали случайным образом с помощью ГПСЧ. Но в самой компании точно знали и зафиксировали, что и кому выдавали, т.е. ослеплены были только ботаники. Договор с ботаниками составлялся так, что им платили независимо от конечного результата, т.е. им необходимо было систематически отчитываться и доказывать, что за растениями добросовестно ухаживают, следить за ними и фиксировать все что происходит, систематически высылая в компанию отчеты о состоянии дел.

По окончании сезона, каждый ботаник отчитался о результатах. Все они честно выполнили свою миссию и подтасовок не было. В половине случаев удобренные растения превысили урожайность выше среднестатистического показателя, в половине показатель остался ниже. Тоже самое и в контрольной группе, т.е. 50% / 50%.

В общем, к гадалке не ходи, а даже пьяному ежику понятно, что нулевая гипотеза для данного сорта помидора подтверждена полностью.

И тем не менее, сразу по результатам исследований этого самого сезона, компания составила адекватные рекомендации фермерам и продала первую партию нового удобрения. По завершении следующего сезона почти все фермеры, которые приобрели удобрение, опять сделали закупки. И дополнительно к ним, в качестве клиентов компании прибавились новые фермеры, до которых дошли слухи о чудесном удобрении.

Возможно ли такое?

Больше чем уверен, что любой, кто знает о статистике не по наслышке, находится в здравом уме и твердой памяти, а также в трезвом состоянии, скажет, что такое маловероятно, т.к. если нулевая гипотеза подтверждена полностью, исследования полностью рандомизированы, то никакой корреляции между удобрением и урожайностью помидоров выявлено не было.

И тем не менее, тот же самый вопрос на засыпку.

[TheThing]

То, что p-value зависит от размера выборки и от величины эффекта, написано в любой хорошей книге по мат. статистике. И если в эксперименте мы получаем p > 0.05 - это не означает, что эффекта нет (хотя часто это можно видеть в работах, публикациях и т.д), а лишь говорит о том, что мы не можем сделать определенный вывод (мы не знаем, то ли выборка маленькая то ли эффект был слишком слабым, в любом случае - недостаточно мощности нашего исследования). Поэтому исследование можно продолжать и следует стараться включить другие возможные факторы (конфаундинги) в анализ, но ведь бывает, что у нас даже намека нет, что это может быть. Например, в генетических исследованиях - 30 миллионов полиморфизмов и неизвестно какие из них ассоциированы с заболеванием, какие тогда должны включаться в анализ, все по-порядку? Р. Фишер всегда старался сделать акцент на том, что единичные исследования (будь то с p < 0.05 или p > 0.05) не могут ничего доказать и всегда стоит провести n-количество исследований и лишь затем делать выводы. А то, что у нас (и на западе) при p <0.05 ликуют и сразу же пишут статью в престижный журнал, что совершили великое открытие - лишь доказывает неосведомленность в этих проблемах. Было достаточно примеров в истории, когда подобные выводы уносили жизни людей.

Поэтому с выводами я согласен, только не понятно, зачем столько агрессии, злобы и оскорблений практически в каждом Вашем посту, YVR?

[100$]

То, что p-value зависит от размера выборки и от величины эффекта, написано в любой хорошей книге по мат. статистике.

В тех же самых книгах по статистике кроме этого написано еще и то, как определить необходимый объем выборки при организации выборочного исследования.

И если в эксперименте мы получаем p > 0.05 - это не означает, что эффекта нет (хотя часто это можно видеть в работах, публикациях и т.д), а лишь говорит о том, что мы не можем сделать определенный вывод (мы не знаем, то ли выборка маленькая то ли эффект был слишком слабым, в любом случае - недостаточно мощности нашего исследования).

То есть, если Н0 не отвергается на принятом уровне значимости, вы затрудняетесь с формулировкой выводов по результатм исследования и честно пишете "не знаю". Верно вас поняли?

[TheThing]

В тех же самых книгах по статистике кроме этого написано еще и то, как определить необходимый объем выборки при организации выборочного исследования.

Да, но для некоторых методов (например логистическая регрессия) эти расчеты очень сложны или вовсе не определены (для логит-регрессии я нашел лишь упрощенные рекомендации).

То есть, если Н0 не отвергается на принятом уровне значимости, вы затрудняетесь с формулировкой выводов по результатм исследования и честно пишете "не знаю". Верно вас поняли?

По моим наблюдениям в работах часто не акцентируется внимание на тех данных, которые получают с p > 0.05, а обсуждают статистически значимые результаты. Но если, например, я провожу корреляционный анализ между двумя переменными и получаю p > 0.05, я не могу сказать, что между ними не наблюдается корреляционной связи или она отсутствует, а лишь то, что в результате своей работы мне не удалось набрать достаточно доказательств, что между переменными наблюдается эта самая статистически значимая связь. В западной литературе при p > 0.05 употребляется термин unconclusive result.

Также вижу следующую проблему: статистически значимый коэффициент корреляции означает, что |r| > 0, если мы принимаем за H0 r = 0. Но, например, практическая значимость коэффициента корреляции r = 0.1 очень близка к r = 0, ведь получается, что коэффициент детерминации 0.01, а значит 1% изменчивости в переменной Y мы можем объяснить с помощью переменной Х при их линейной взаимосвязи. В работе мы получаем статистическую значимую связь (УРРРАА! будет, что шефу показать ) с r = 0.1 (на столь малую величину эффекта мы закрываем глаза, поскольку привыкли дихотомически делить результаты на p <0.05 и p > 0.05).

Если взглянуть на таблицу ниже, можно увидеть, что для того, чтобы "сделать" коэффициент корреляции стат. значимым при r = 0.1 нам потребуется всего 272 наблюдения и вуаля, великое открытие Ценность сего весьма сомнительна, но ведь p < 0.05.


r [R-square] a=0.001 a=0.01 a= 0.05

.005 [.000025] 381980 216476 108223
.01 [.0001] 95494 54119 27057
.05 [.0025] 3818 2165 1084
.1 [.01] 953 541 272

Мне кажется, что основной интерес ученого (исследователя) лежит не в том, чтобы показать, что явление существует (p < 0.05), а увидеть величину этого явления (effect size).

Также прикрепил статью мэтра статистики Jacob Cohen'a, который заложил прочный фундамент в мета-исследования и занимался проблемой величины эффекта и статистической мощностью тестов. Статья называется "The Earth is round, p < 0.05". Проблемность, а зачастую и абсурдность, связанные с NHST (Null Hypothsis significance testing) чувствуется уже из названия

Сообщение отредактировал TheThing - 5.04.2012 - 15:39

Прикрепленные файлы

 Earth_is_Round_p_05__1_.pdf ( 1,1 мегабайт ) Кол-во скачиваний: 294

 

[100$]

Позвольте сделать несколько уточнений.

Да, но для некоторых методов (например логистическая регрессия) эти расчеты очень сложны или вовсе не определены (для логит-регрессии я нашел лишь упрощенные рекомендации).

1. Мы говорили о выборочных исследованиях. В выборочных исследованиях проверяются гипотеза о средней и гипотеза о доле. Бинарный класификатор под названием "логистическая регрессия" в этом смысле выборочным исследованием не является, соответственно рекомендаций о необходимом объеме выборки может и не быть.

Но если, например, я провожу корреляционный анализ между двумя переменными и получаю p > 0.05, я не могу сказать, что между ними не наблюдается корреляционной связи или она отсутствует, а лишь то, что в результате своей работы мне не удалось набрать достаточно доказательств, что между переменными наблюдается эта самая статистически значимая связь. В западной литературе при p > 0.05 употребляется термин unconclusive result.

2.1. Не знаю, что вы называете "доказательствами", но при проверке статистических гипотез доказательством является достигаемый уровень значимости.
2.2. Это что ж получается: вы затратили ресурсы на проведение исследования и выдаете результат из серии "ну, не шмогла я, не шмогла!"?.
2.3. А если связи там действительно нет?

Также вижу следующую проблему: статистически значимый коэффициент корреляции означает, что |r| > 0, если мы принимаем за H0 r = 0. Но, например, практическая значимость коэффициента корреляции r = 0.1 очень близка к r = 0, ведь получается, что коэффициент детерминации 0.01, а значит 1% изменчивости в переменной Y мы можем объяснить с помощью переменной Х при их линейной взаимосвязи. В работе мы получаем статистическую значимую связь (УРРРАА! будет, что шефу показать ) с r = 0.1 (на столь малую величину эффекта мы закрываем глаза, поскольку привыкли дихотомически делить результаты на p <0.05 и p > 0.05).

3. Статистическое исследование - это не сравнение на "больше-меньше", а способ узнать, вызваны ли наблюдаемые различия случайными причинами, или они носят не случайный характер. Определение необходимого объема выборки, выбор номинального уровня значимости, на котором ведется исследование, а также проверяемые гипотезы - все это осуществляется на этапе планирования стат. исследования, т.е. до того, как вы начали перемалывать цифры в статистическом пакете.

Сообщение отредактировал 100$ - 5.04.2012 - 16:42

[TheThing]

Позвольте сделать несколько уточнений.



1. Мы говорили о выборочных исследованиях. В выборочных исследованиях проверяются гипотеза о средней и гипотеза о доле. Бинарный класификатор под названием "логистическая регрессия" в этом смысле выборочным исследованием не является, соответственно рекомендаций о необходимом объеме выборки может и не быть.

Если о выборочных - полностью согласен.

2.1. Не знаю, что вы называете "доказательствами", но при проверке статистических гипотез доказательством является достигаемый уровень значимости.
2.2. Это что ж получается: вы затратили ресурсы на проведение исследования и выдаете результат из серии "ну, не шмогла я, не шмогла!"?.
2.3. А если связи там действительно нет?

2.1. А когда не достигается этот уровень значимости, значит у нас недостаточно доказательств против H0. Я так и написал ведь выше.
2.2 Нехватка доказательств против Н0 - это тоже ведь результат, ничего постыдного в том, что "не шмогла" нет Как Вы предлагаете трактовать ?
2.3 В реальном мире H0 очень редко когда бывает истинной, то есть, что связи нет (если конечно не проводить анализ намеренно между абсурдными переменными). На 4 стр. статьи Кохен пишет, что "Nil hypothsis is aslways false". То есть разницу между средними в 0,00001 можно доказать, как стат. значимую при достаточном количестве наблюдений.

3. Статистическое исследование - это не сравнение на "больше-меньше", а способ узнать, вызваны ли наблюдаемые различия случайными причинами, или они носят не случайный характер. Определение необходимого объема выборки, выбор номинального уровня значимости, на котором ведется исследование, а также проверяемые гипотезы - все это осуществляется на этапе планирования стат. исследования, т.е. до того, как вы начали перемалывать цифры в статистическом пакете.

Абсолютно согласен, но ведь p value вы получаете после перемалывания цифр в стат. пакете и огромное количество людей (если не сказать большинство) с большой надеждой смотрят и ориентируются именно на это значение и очень переживают и не знают, что делать, когда p > 0.05 (потратили ресурсы и не "шмогла"). В то же время, обнаружив разницу между средними в 0,00001 и при р < 0.05 - восторгу нет предела и как вывод "Эта разница не случайна". А что ценного практически в этом?

Сообщение отредактировал TheThing - 5.04.2012 - 18:30

[TheThing]

double post

Сообщение отредактировал TheThing - 5.04.2012 - 18:24