Вопрос на засыпку, Знатокам статистики Опции

[YVR]

В медицине такое вряд ли возможно, поэтому представим, что действия происходят в другой области.

Компания, занимающаяся производством химических удобрений, синтезировала некое химическое соединение. Провели экспресс тестирование в теплицах, оказалось что помидоры хорошо усваивают новый вид удобрения и вроде бы никаких побочных эффектов не выявлено, в том числе и по санитарным нормам для пищевых продуктов, т.е. все уровни содержания вредных веществ в растениях значительно ниже нормы.

Но этого мало. Т.к. удобрение для аграриев доселе неизвестное и не зарекомендовавшее себя, фермеры будут его закупать лишь в том случае, если оно реально повысит урожайность. Репутация среди фермеров у компании есть. Но потерять ее равносильно банкротству, т.к. конкуренция в данном сегменте высока.

Цель эксперимента: выявить влияние удобрения на урожайность. Показателем исследований является среднестатистическая урожайность с куста помидора: выше - результат положительный, ниже - отрицательный. Чтобы провести исследования, компания через интернет наняла нештатных ботаников в разных уголках страны, каждый из которых засеял делянку на открытом воздухе одним и тем же устойчивым сортом помидоров. Все делянки отличались и по анализу почвы и по составу воды, которым эта самая почва орошалась, т.е. двух одинаковых делянок не было. Половине ботаников было выдано новое удобрение, половине безобидное нейтральное вещество. Причем какое конкретно вещество какому ботанику необходимо было выдать, решали случайным образом с помощью ГПСЧ. Но в самой компании точно знали и зафиксировали, что и кому выдавали, т.е. ослеплены были только ботаники. Договор с ботаниками составлялся так, что им платили независимо от конечного результата, т.е. им необходимо было систематически отчитываться и доказывать, что за растениями добросовестно ухаживают, следить за ними и фиксировать все что происходит, систематически высылая в компанию отчеты о состоянии дел.

По окончании сезона, каждый ботаник отчитался о результатах. Все они честно выполнили свою миссию и подтасовок не было. В половине случаев удобренные растения превысили урожайность выше среднестатистического показателя, в половине показатель остался ниже. Тоже самое и в контрольной группе, т.е. 50% / 50%.

В общем, к гадалке не ходи, а даже пьяному ежику понятно, что нулевая гипотеза для данного сорта помидора подтверждена полностью.

И тем не менее, сразу по результатам исследований этого самого сезона, компания составила адекватные рекомендации фермерам и продала первую партию нового удобрения. По завершении следующего сезона почти все фермеры, которые приобрели удобрение, опять сделали закупки. И дополнительно к ним, в качестве клиентов компании прибавились новые фермеры, до которых дошли слухи о чудесном удобрении.

Возможно ли такое?

Больше чем уверен, что любой, кто знает о статистике не по наслышке, находится в здравом уме и твердой памяти, а также в трезвом состоянии, скажет, что такое маловероятно, т.к. если нулевая гипотеза подтверждена полностью, исследования полностью рандомизированы, то никакой корреляции между удобрением и урожайностью помидоров выявлено не было.

И тем не менее, тот же самый вопрос на засыпку.

[DrgLena]

И тем не менее, тот же самый вопрос на засыпку.

А кого будем засыпать? Согласна, пусть меня этими помидорами .
Во первых, нулевая гипотеза не может быть подтверждена, а особенно полностью ни в каком исследовании. Она может быть либо опровергнута, тогда принимается альтернативная, либо не опровергнута. А не опровергнута она может быть в случае не достаточной мощности исследования.
Во вторых, результат исследования 50/50 свидетельствует только о том, что доли урожая выше среднего и ниже среднего с одного куста одинаковы. При этом, нам не известно, на сколько выше среднего и на сколько ниже среднего. Возможно, выше среднего было очень на много, а ниже среднего совсем незначительно. В итоге ? урожай выше среднего. Возможно, отчет был верно составлен, что и привлекло фермеров и они стали участниками нового эксперимента, который возможно был более многочисленный, что позволило h0 опровергнуть, хотя фермеров это не волнует, а в результате ? повышение закупок.

[YVR]

А кого будем засыпать? Согласна, пусть меня этими помидорами .
Во первых, нулевая гипотеза не может быть подтверждена, а особенно полностью ни в каком исследовании. Она может быть либо опровергнута, тогда принимается альтернативная, либо не опровергнута. А не опровергнута она может быть в случае не достаточной мощности исследования.
Во вторых, результат исследования 50/50 свидетельствует только о том, что доли урожая выше среднего и ниже среднего с одного куста одинаковы.

Например было проведено 1000 исследований. Соответственно мы получили результаты: истинно-положительных 250, истинно-отрицательных 250, ложно-положительных 250, ложно-отрицательных 250.

250 250
250 250

Вычисляем chi, получаем 0. Нулевая гипотеза подтверждена, т.к. chi-square распределение для 1 степени свободы даст максимум. Выше накопленная вероятность для нулевой гипотезы уже быть не может.

Берем данные в виде двух колонок, вводим бинарные данные: объясняющая переменная - удобрение, зависимая переменная - превышение показателя среднестатистической урожайности. Создаем регрессионную модель, получаем коэффициент корреляции - 0.

Нулевая гипотеза опять же подтверждена, т.к. никакой корреляции между удобрением и урожайностью не было выявлено.

При этом, нам не известно, на сколько выше среднего и на сколько ниже среднего. Возможно, выше среднего было очень на много, а ниже среднего совсем незначительно.

Предположим, что известно. Для чистоты эксперимента, можно подставить во вторую колонку точное значение урожайности и опять получим нулевой коэффициент корреляции.

Предположим, что среднестатистическая урожайность для удобренных растений не отличается от среднестатистической урожайности из контрольной группы.

В итоге ? урожай выше среднего. Возможно, отчет был верно составлен, что и привлекло фермеров и они стали участниками нового эксперимента, который возможно был более многочисленный, что позволило h0 опровергнуть, хотя фермеров это не волнует, а в результате ? повышение закупок.

Не отчет, а рекомендации фермерам. Отчеты от ботаников были верными.

Вопрос остается прежним, как можно составить адекватные рекомендации фермерам по результатам ботанических исследований, если нулевая гипотеза статистическими методами в этих самых исследованиях подтверждена полностью?

Сообщение отредактировал YVR - 3.04.2012 - 06:55

[100$]

Берем данные в виде двух колонок, вводим бинарные данные: объясняющая переменная - удобрение, зависимая переменная - превышение показателя среднестатистической урожайности. Создаем регрессионную модель, получаем коэффициент корреляции - 0.

Нулевая гипотеза опять же подтверждена, т.к. никакой корреляции между удобрением и урожайностью не было выявлено.

Пассаж про коэффициент корреляции между двумя бернуллиевскими векторами - это несомненная творческая удача.
С вполне объяснимым волнением ждем очередной порции новостей с переднего края науки.