Вопрос на засыпку, Знатокам статистики Опции

[YVR]

В медицине такое вряд ли возможно, поэтому представим, что действия происходят в другой области.

Компания, занимающаяся производством химических удобрений, синтезировала некое химическое соединение. Провели экспресс тестирование в теплицах, оказалось что помидоры хорошо усваивают новый вид удобрения и вроде бы никаких побочных эффектов не выявлено, в том числе и по санитарным нормам для пищевых продуктов, т.е. все уровни содержания вредных веществ в растениях значительно ниже нормы.

Но этого мало. Т.к. удобрение для аграриев доселе неизвестное и не зарекомендовавшее себя, фермеры будут его закупать лишь в том случае, если оно реально повысит урожайность. Репутация среди фермеров у компании есть. Но потерять ее равносильно банкротству, т.к. конкуренция в данном сегменте высока.

Цель эксперимента: выявить влияние удобрения на урожайность. Показателем исследований является среднестатистическая урожайность с куста помидора: выше - результат положительный, ниже - отрицательный. Чтобы провести исследования, компания через интернет наняла нештатных ботаников в разных уголках страны, каждый из которых засеял делянку на открытом воздухе одним и тем же устойчивым сортом помидоров. Все делянки отличались и по анализу почвы и по составу воды, которым эта самая почва орошалась, т.е. двух одинаковых делянок не было. Половине ботаников было выдано новое удобрение, половине безобидное нейтральное вещество. Причем какое конкретно вещество какому ботанику необходимо было выдать, решали случайным образом с помощью ГПСЧ. Но в самой компании точно знали и зафиксировали, что и кому выдавали, т.е. ослеплены были только ботаники. Договор с ботаниками составлялся так, что им платили независимо от конечного результата, т.е. им необходимо было систематически отчитываться и доказывать, что за растениями добросовестно ухаживают, следить за ними и фиксировать все что происходит, систематически высылая в компанию отчеты о состоянии дел.

По окончании сезона, каждый ботаник отчитался о результатах. Все они честно выполнили свою миссию и подтасовок не было. В половине случаев удобренные растения превысили урожайность выше среднестатистического показателя, в половине показатель остался ниже. Тоже самое и в контрольной группе, т.е. 50% / 50%.

В общем, к гадалке не ходи, а даже пьяному ежику понятно, что нулевая гипотеза для данного сорта помидора подтверждена полностью.

И тем не менее, сразу по результатам исследований этого самого сезона, компания составила адекватные рекомендации фермерам и продала первую партию нового удобрения. По завершении следующего сезона почти все фермеры, которые приобрели удобрение, опять сделали закупки. И дополнительно к ним, в качестве клиентов компании прибавились новые фермеры, до которых дошли слухи о чудесном удобрении.

Возможно ли такое?

Больше чем уверен, что любой, кто знает о статистике не по наслышке, находится в здравом уме и твердой памяти, а также в трезвом состоянии, скажет, что такое маловероятно, т.к. если нулевая гипотеза подтверждена полностью, исследования полностью рандомизированы, то никакой корреляции между удобрением и урожайностью помидоров выявлено не было.

И тем не менее, тот же самый вопрос на засыпку.

[DrgLena]

И тем не менее, тот же самый вопрос на засыпку.

А кого будем засыпать? Согласна, пусть меня этими помидорами .
Во первых, нулевая гипотеза не может быть подтверждена, а особенно полностью ни в каком исследовании. Она может быть либо опровергнута, тогда принимается альтернативная, либо не опровергнута. А не опровергнута она может быть в случае не достаточной мощности исследования.
Во вторых, результат исследования 50/50 свидетельствует только о том, что доли урожая выше среднего и ниже среднего с одного куста одинаковы. При этом, нам не известно, на сколько выше среднего и на сколько ниже среднего. Возможно, выше среднего было очень на много, а ниже среднего совсем незначительно. В итоге ? урожай выше среднего. Возможно, отчет был верно составлен, что и привлекло фермеров и они стали участниками нового эксперимента, который возможно был более многочисленный, что позволило h0 опровергнуть, хотя фермеров это не волнует, а в результате ? повышение закупок.

[nokh]

Давайте подправим! Во-первых, при таком экспериментальном плане (дизайне исследования) следует рассматривать не "превышение среднестатистического показателя", а различия между урожайностью на новом удобрении и на нейтральном веществе. Во-вторых, не вполне корректно говорить о том, что "нулевая гипотеза подтверждена полностью", правильнее сказать, что нулевая гипотеза "сохраняется" или "не была отклонена", поскольку доказательства для её отклонения в данном эксперименте оказались слишком слабыми. В следующем или более масштабном исследовании эти доказательства могут оказаться сильнее.

Резюме всей длинной истории: несмотря на отсутствие научно доказанного эффекта от применения нового удобрения препарат активно раскупается фермерами.

Возможно ли такое? Конечно! Как известно, возможность представляет собой состояние, когда имеется только одна часть детерминирующих факторов, но отсутствует другая их часть. При таких условиях возможность превращается в действительность не только через необходимость, но и через случайность. Приведённый вами пример хорошо демонстрирует узость понимания Возможности, как в качестве раскрывающего содержания Предстоящего, т.е. экзистенциала, так и в качестве Объясняющего, т.е. категории в понимании Ихгейзера и его последователей. В целом же, несмотря на то, что возможность определяется как Степень свободы реализации определённого состояния вещей, а сама степень возможности того или иного явления выражается через категорию Вероятности, очевидно, что и "Степени свободы" и "Вероятность" в данном контексте не относятся к предмету Теории вероятности и математической статистики, как впрочем и сам вопрос. Также, как показывает мой опыт, после таких задачек засыпается очень плохо; предлагаю исключить вопрос из категории "на засыпку".

Сообщение отредактировал nokh - 2.04.2012 - 23:31

[100$]

1. Для проверки (нулевой) гипотезы о средней в данном исследовании контрольная выборка вообще не нужна.

2. Драгоценные сведения о том, что

В половине случаев удобренные растения превысили урожайность выше среднестатистического показателя, в половине показатель остался ниже. Тоже самое и в контрольной группе, т.е. 50% / 50%.

для проверки гипотезы о средней также не нужны.

3. Из этого с необходимостью следует, что радостное известие о том, что

..нулевая гипотеза для данного сорта помидора подтверждена полностью.

является бездоказательным.

4.

Возможно ли такое?

Конечно возможно, если удобрение было в виде порошка, и вместо того, чтобы зарывать его в землю, ботаники его нюхали.

Сообщение отредактировал 100$ - 3.04.2012 - 00:02

[YVR]

А кого будем засыпать? Согласна, пусть меня этими помидорами .
Во первых, нулевая гипотеза не может быть подтверждена, а особенно полностью ни в каком исследовании. Она может быть либо опровергнута, тогда принимается альтернативная, либо не опровергнута. А не опровергнута она может быть в случае не достаточной мощности исследования.
Во вторых, результат исследования 50/50 свидетельствует только о том, что доли урожая выше среднего и ниже среднего с одного куста одинаковы.

Например было проведено 1000 исследований. Соответственно мы получили результаты: истинно-положительных 250, истинно-отрицательных 250, ложно-положительных 250, ложно-отрицательных 250.

250 250
250 250

Вычисляем chi, получаем 0. Нулевая гипотеза подтверждена, т.к. chi-square распределение для 1 степени свободы даст максимум. Выше накопленная вероятность для нулевой гипотезы уже быть не может.

Берем данные в виде двух колонок, вводим бинарные данные: объясняющая переменная - удобрение, зависимая переменная - превышение показателя среднестатистической урожайности. Создаем регрессионную модель, получаем коэффициент корреляции - 0.

Нулевая гипотеза опять же подтверждена, т.к. никакой корреляции между удобрением и урожайностью не было выявлено.

При этом, нам не известно, на сколько выше среднего и на сколько ниже среднего. Возможно, выше среднего было очень на много, а ниже среднего совсем незначительно.

Предположим, что известно. Для чистоты эксперимента, можно подставить во вторую колонку точное значение урожайности и опять получим нулевой коэффициент корреляции.

Предположим, что среднестатистическая урожайность для удобренных растений не отличается от среднестатистической урожайности из контрольной группы.

В итоге ? урожай выше среднего. Возможно, отчет был верно составлен, что и привлекло фермеров и они стали участниками нового эксперимента, который возможно был более многочисленный, что позволило h0 опровергнуть, хотя фермеров это не волнует, а в результате ? повышение закупок.

Не отчет, а рекомендации фермерам. Отчеты от ботаников были верными.

Вопрос остается прежним, как можно составить адекватные рекомендации фермерам по результатам ботанических исследований, если нулевая гипотеза статистическими методами в этих самых исследованиях подтверждена полностью?

Сообщение отредактировал YVR - 3.04.2012 - 06:55

[DrgLena]

Так нужно дать рекомендации фермерам, не проблема. Средняя урожайность с куста 5 помидоров. В случае применения удобрения в половине случаев (250) урожайность была выше среднего, а именно 10 помидоров с куста, а у другой половины (250) ниже среднего с куста, а именно 4 помидора. А в группе без применения удобрения также в половине случаев урожайность была выше среднего, а именно 6 помидоров с куста, и в 250 случаев ниже среднего, а именно те же 4 помидора. Нравится вам таблица сопряженности, составляйте, по числу помидоров, получите a, b, c, d =2500, 1000, 1500, 1000 h0 отклонена. Но для фермеров лучше сделать такой вывод, в случае применения удобрения шанс получить больше помидоров с куста в 1,67 выше, чем без его применения (OR=1,67; 95% ДИ 1,50 - 1,86). И все побежали покупать удобрение. Никакого шаманства, только логика. Можно и на килограммы посчитать, общей урожайностью убедить.

Сообщение отредактировал DrgLena - 3.04.2012 - 10:01

[YVR]

Так нужно дать рекомендации фермерам, не проблема. Средняя урожайность с куста 5 помидоров. В случае применения удобрения в половине случаев (250) урожайность была выше среднего, а именно 10 помидоров с куста, а у другой половины (250) ниже среднего с куста, а именно 4 помидора. А в группе без применения удобрения также в половине случаев урожайность была выше среднего, а именно 6 помидоров с куста, и в 250 случаев ниже среднего, а именно те же 4 помидора. Нравится вам таблица сопряженности, составляйте, по числу помидоров, получите a, b, c, d =2500, 1000, 1500, 1000 h0 отклонена. Но для фермеров лучше сделать такой вывод, в случае применения удобрения шанс получить больше помидоров с куста в 1,67 выше, чем без его применения (OR=1,67; 95% ДИ 1,50 - 1,86). И все побежали покупать удобрение. Никакого шаманства, только логика. Можно и на килограммы посчитать, общей урожайностью убедить.

Может быть Вам и понравится предложенный Вами же метод подгонки желаемого под действительное? Но фермерам не понравится точно. Т.к. с таким же успехом можно было в таблицах сопряженности брать не только количество помидоров, но и количество кратеров на видимой и невидимой стороне луны. И в том и в другом случае, махинации с таблицами сопряженности никак не повлияют на реальную урожайность помидоров, поскольку она для любого случайно взятого в аренду земельного участка независимо от применения новых удобрений и манипуляций "специалистов" по статистике с таблицами сопряженностей, останется на прежнем уровне, т.е. среднестатистическом N килограммов помидоров с куста за сезон. А поскольку затраты на удобрения является дополнительными издержками, т.е. отрицательно повлияют на себестоимость помидоров, то любой вменяемый фермер, в первую очередь, откажется от Ваших услуг, как "специалиста" по статистике.

Фермер будет приобретать удобрения лишь в тех случаях когда реальный показатель повышения урожайности, выраженный в деньгах, покроет с лихвой издержки на покупку удобрений.

Сообщение отредактировал YVR - 3.04.2012 - 12:29

[DrgLena]

Я думаю, что фермеров я убедила, а вот с ботаниками сложнее, у них нет никакого среднестатистического N кг с куста в вашей задачке, но есть только больше или меньше этого среднего. А если бы были средние в двух группах полей, то зачем тогда таблицы сопряженности.

[DrgLena]

Фермер будет приобретать удобрения лишь в тех случаях когда реальный показатель повышения урожайности, выраженный в деньгах, покроет с лихвой издержки на покупку удобрений.

И что же это ботаники не представили этот реальный проказатель повышения урожайности, и до нас его не донесли ни в деньгах, ни даже в помидорах. Кроме хи-кв. ничего не учили?

[100$]

Берем данные в виде двух колонок, вводим бинарные данные: объясняющая переменная - удобрение, зависимая переменная - превышение показателя среднестатистической урожайности. Создаем регрессионную модель, получаем коэффициент корреляции - 0.

Нулевая гипотеза опять же подтверждена, т.к. никакой корреляции между удобрением и урожайностью не было выявлено.

Пассаж про коэффициент корреляции между двумя бернуллиевскими векторами - это несомненная творческая удача.
С вполне объяснимым волнением ждем очередной порции новостей с переднего края науки.

[YVR]

И что же это ботаники не представили этот реальный проказатель повышения урожайности, и до нас его не донесли ни в деньгах, ни даже в помидорах. Кроме хи-кв. ничего не учили?

В компетенцию и обязанности ботаников это не входило. Задача ботаников: провести анализ почвы и орошаемой воды и выслать результаты заказчику (чтобы он мог убедиться в чистоте эксперимента, т.е. отсутствии двух одинаковых делянок участвующих в эксперименте, что являлось бы неравномерностью распределений и отрицательно повлияло бы на качество рандомизации), посадить на своей делянке растения, удобрить какой-то агрохимией от заказчика, ухаживать за этим самым растением и отчитываться о результатах на своей делянке, ну и естественно получать некую заранее обговоренную сумму денег от заказчика за предоставленные отчеты.

А вот в компетенцию специалистов по статистике входит обязательство следить за тем, что именно они подставляют в свои вычисления. Например, в таблицы сопряженности нельзя подставлять ничего кроме зафиксированных количеств произошедших исходов событий либо частот этих самых исходов. Т.е. нельзя подставлять туда: литры, граммы, ватты, помидоры и прочие значения в единицах измерения отличных от количества исходов либо их частот. Исходом события в теории вероятности может быть, например, превышение среднестатистической урожайности на экспериментальной делянке.

Суть в том, что у исхода события всегда есть одни противоположный исход, который может состоять из как из единственного, так и из множества несовместных исходов события и выражаться в логическом отрицании прямого исхода события. Т.е. если исход события - превышение среднестатистической урожайности на экспериментальной делянке, то противоположный исход - урожайность на экспериментальной делянке ниже среднестатистической. Сумма частот всех несовместных исходов по теореме полной вероятности должна быть равна 1.

Почему можно вместо количеств исходов подставлять их частоты? Это банально: если все ячейки таблицы сопряженности умножить или разделить на какую либо константу, то конечный результат не изменится.

По вышеуказанным причинам, среднее количество помидоров с куста на делянке исходом события быть никак являться не может, т.к. у нецелочисленного (усредненного) количества выращенных помидоров с куста нет противоположного исхода: иного количества невыращенных помидоров с куста для делянки - явный алогизм и математическая неопределенность. Но точное количество выращенных помидоров с отдельновзятого куста событием является, т.к. несовместным событием (входящим в множество принадлежащее противоположному исходу) в таком случае будет любое иное количество помидоров с куста. Т.е. если взять распределение вероятностей в виде количество помидоров с куста в виде положительного целого числа, включая 0 помидоров, то каждое отдельновзятое количество может иметь вероятности в этом самом распределении. Сумма всех несовместных вероятностей исходов, входящих в распределение, по теореме должна быть равна 1. Вполне понятно, что отдельновзятое количество помидоров с отдельновзятого куста не может рассматриваться как показатель урожайности, т.к. любое иное количество помидоров является подмножеством всех остальных несовместных исходов, как превышающих, так и непревышающих среднестатистический показатель урожайности.

Сообщение отредактировал YVR - 3.04.2012 - 18:35

[DrgLena]

Исходом события в теории вероятности может быть, например, превышение среднестатистической урожайности на экспериментальной делянке.

Создайте несколько градаций этого самого превышения и выходите, наконец, из четырехпольной таблицы, кроме больше, меньше еще и равно есть, я на помидарах, как на пальцах, вашу задачку и решала. Где же ваш ответ, на что же фермеры повелись? Неужели ботаники взвесили помидоры?

[YVR]

Создайте несколько градаций этого самого превышения и выходите, наконец, из четырехпольной таблицы, кроме больше, меньше еще и равно есть, я на помидарах, как на пальцах, вашу задачку и решала. Где же ваш ответ, на что же фермеры повелись? Неужели ботаники взвесили помидоры?

Нет, они взвешивать помидоры не стали, т.к. компания предпочитала не нанимать "специалистов" в области статистики, т.е. из числа причастных к вивисекциям и опытам над больными людьми, а также специалистов по эконометрике, т.е. причастных к экономическим кризисам. Привлекли к этому делу выпускников технических вузов, которые проведя расчеты и поведали, что нулевая гипотеза доказана, а следовательно новое удобрение не может быть панацеей для помидоров, т.е. повысить урожайность на любом земельном участке с любым орошением, т.к. если взять урожайность в качестве зависимой переменной, то удобрение объясняющей переменной не является в том случае, когда эта самая переменная единственна.

Ну, а поскольку, если гора не идет к Магомету и причина ясна, то лечить нужно не симптомы (нулевую гипотезу от единственной переменной, которая оказалась вовсе не объясняющей), а причину (???).

Вопрос пока остается прежним.

Сообщение отредактировал YVR - 3.04.2012 - 18:59

[p2004r]

Вопрос пока остается прежним.

1. Урожай (урожайность) в помидорах измеряется, в штуках. Альтернатива в кг.

2. Урожай меньше 0 штук, или 0 кг не бывает.

Дальше думайте сами.

[DrgLena]

Нет, они взвешивать помидоры не стали, т.к. компания предпочитала не нанимать "специалистов" в области статистики, т.е. из числа причастных к вивисекциям и опытам над больными людьми, а также специалистов по эконометрике, т.е. причастных к экономическим кризисам.

Все специалисты в области статистики в кавычках, не только я одна. Могли бы и взвесить, это не смертельно для помидоров и даже не больно, и всемирный кризис не вызовет.

Привлекли к этому делу выпускников технических вузов, которые проведя расчеты и поведали, что нулевая гипотеза доказана

Если выпускники технического вуза доказывают нулевую гипотезу, то можно принять альтернативную - качество образования ниже среднего.

...лечить нужно не симптомы...

Можно и симптомы, но в соседней ветке...

Вопрос пока остается прежним.

А вопросов больше нет

Сообщение отредактировал DrgLena - 3.04.2012 - 20:42