Вопрос на засыпку, Знатокам статистики Опции

[YVR]

В медицине такое вряд ли возможно, поэтому представим, что действия происходят в другой области.

Компания, занимающаяся производством химических удобрений, синтезировала некое химическое соединение. Провели экспресс тестирование в теплицах, оказалось что помидоры хорошо усваивают новый вид удобрения и вроде бы никаких побочных эффектов не выявлено, в том числе и по санитарным нормам для пищевых продуктов, т.е. все уровни содержания вредных веществ в растениях значительно ниже нормы.

Но этого мало. Т.к. удобрение для аграриев доселе неизвестное и не зарекомендовавшее себя, фермеры будут его закупать лишь в том случае, если оно реально повысит урожайность. Репутация среди фермеров у компании есть. Но потерять ее равносильно банкротству, т.к. конкуренция в данном сегменте высока.

Цель эксперимента: выявить влияние удобрения на урожайность. Показателем исследований является среднестатистическая урожайность с куста помидора: выше - результат положительный, ниже - отрицательный. Чтобы провести исследования, компания через интернет наняла нештатных ботаников в разных уголках страны, каждый из которых засеял делянку на открытом воздухе одним и тем же устойчивым сортом помидоров. Все делянки отличались и по анализу почвы и по составу воды, которым эта самая почва орошалась, т.е. двух одинаковых делянок не было. Половине ботаников было выдано новое удобрение, половине безобидное нейтральное вещество. Причем какое конкретно вещество какому ботанику необходимо было выдать, решали случайным образом с помощью ГПСЧ. Но в самой компании точно знали и зафиксировали, что и кому выдавали, т.е. ослеплены были только ботаники. Договор с ботаниками составлялся так, что им платили независимо от конечного результата, т.е. им необходимо было систематически отчитываться и доказывать, что за растениями добросовестно ухаживают, следить за ними и фиксировать все что происходит, систематически высылая в компанию отчеты о состоянии дел.

По окончании сезона, каждый ботаник отчитался о результатах. Все они честно выполнили свою миссию и подтасовок не было. В половине случаев удобренные растения превысили урожайность выше среднестатистического показателя, в половине показатель остался ниже. Тоже самое и в контрольной группе, т.е. 50% / 50%.

В общем, к гадалке не ходи, а даже пьяному ежику понятно, что нулевая гипотеза для данного сорта помидора подтверждена полностью.

И тем не менее, сразу по результатам исследований этого самого сезона, компания составила адекватные рекомендации фермерам и продала первую партию нового удобрения. По завершении следующего сезона почти все фермеры, которые приобрели удобрение, опять сделали закупки. И дополнительно к ним, в качестве клиентов компании прибавились новые фермеры, до которых дошли слухи о чудесном удобрении.

Возможно ли такое?

Больше чем уверен, что любой, кто знает о статистике не по наслышке, находится в здравом уме и твердой памяти, а также в трезвом состоянии, скажет, что такое маловероятно, т.к. если нулевая гипотеза подтверждена полностью, исследования полностью рандомизированы, то никакой корреляции между удобрением и урожайностью помидоров выявлено не было.

И тем не менее, тот же самый вопрос на засыпку.

[TheThing]

То, что p-value зависит от размера выборки и от величины эффекта, написано в любой хорошей книге по мат. статистике. И если в эксперименте мы получаем p > 0.05 - это не означает, что эффекта нет (хотя часто это можно видеть в работах, публикациях и т.д), а лишь говорит о том, что мы не можем сделать определенный вывод (мы не знаем, то ли выборка маленькая то ли эффект был слишком слабым, в любом случае - недостаточно мощности нашего исследования). Поэтому исследование можно продолжать и следует стараться включить другие возможные факторы (конфаундинги) в анализ, но ведь бывает, что у нас даже намека нет, что это может быть. Например, в генетических исследованиях - 30 миллионов полиморфизмов и неизвестно какие из них ассоциированы с заболеванием, какие тогда должны включаться в анализ, все по-порядку? Р. Фишер всегда старался сделать акцент на том, что единичные исследования (будь то с p < 0.05 или p > 0.05) не могут ничего доказать и всегда стоит провести n-количество исследований и лишь затем делать выводы. А то, что у нас (и на западе) при p <0.05 ликуют и сразу же пишут статью в престижный журнал, что совершили великое открытие - лишь доказывает неосведомленность в этих проблемах. Было достаточно примеров в истории, когда подобные выводы уносили жизни людей.

Поэтому с выводами я согласен, только не понятно, зачем столько агрессии, злобы и оскорблений практически в каждом Вашем посту, YVR?

[DoctorStat]

А то, что у нас (и на западе) при p <0.05 ликуют и сразу же пишут статью в престижный журнал, что совершили великое открытие - лишь доказывает неосведомленность в этих проблемах.

Пусть для случая 2-х независимых исследований, в каждом получена вероятность Pi<0.05, i=1,2 справедливости нулевой гипотезы Н0. Тогда итоговая вероятность справедливости Н0 равна произведению P=P1*P2<5E-4 .

[100$]

Пусть для случая 2-х независимых исследований, в каждом получена вероятность Pi<0.05, i=1,2 справедливости нулевой гипотезы Н0. Тогда итоговая вероятность справедливости Н0 равна произведению P=P1*P2<5E-4 .

А у меня почему-то получилось p < 2.5E-3