Полная версия этой страницы: Произведение частот
Друзья, подскажите у меня получается произведение частот как формула что произойдет и то и другое событие одновременно. Как в этом случае мне построить доверительный интервал для произведения? Не могу понять!
Цитата(nironir @ 24.08.2016 - 10:17) 
Друзья, подскажите у меня получается произведение частот как формула что произойдет и то и другое событие одновременно. Как в этом случае мне построить доверительный интервал для произведения? Не могу понять!
Распределения исходные нужны (или одно общее если коррелированы события). Дальше монтекарло по ним.
Цитата(p2004r @ 24.08.2016 - 13:50)
Распределения исходные нужны (или одно общее если коррелированы события). Дальше монтекарло по ним.
Ну я так мыслю, что они независимы и оба распределены биномиально. То есть произведение независимых биномиальных величин. А что значит монтекарло по ним? Как это связано с доверительным интервалом? Простите за тупость.
Цитата(nironir @ 24.08.2016 - 10:17)
Друзья, подскажите у меня получается произведение частот как формула что произойдет и то и другое событие одновременно. Как в этом случае мне построить доверительный интервал для произведения? Не могу понять!
Для параметра биномиального распределения p*, оцененного по имеющейся выборке, можно построить как точный (на основе распределения Фишера), так и асимптотический интервал (на основе аппроксимации нормальным распределением), опосля чего представить частоты (понимаемые как эмпирические оценки вероятностей "успеха") в интервальном виде.
А уж в интервальной математике произведением интервальных величин [a,b] и [c,d] является интервал [ac,bd]. И никакой Монтекарлы.
Цитата(100$ @ 24.08.2016 - 19:51)
Для параметра биномиального распределения p*, оцененного по имеющейся выборке, можно построить как точный (на основе распределения Фишера), так и асимптотический интервал (на основе аппроксимации нормальным распределением), опосля чего представить частоты (понимаемые как эмпирические оценки вероятностей "успеха") в интервальном виде.
А уж в интервальной математике произведением интервальных величин [a,b] и [c,d] является интервал [ac,bd]. И никакой Монтекарлы.
А уж в интервальной математике произведением интервальных величин [a,b] и [c,d] является интервал [ac,bd]. И никакой Монтекарлы.
А не подскажите где про такой метод можно почитать впервые такое вижу? Разве так можно делать для доверительных интервалов?
Цитата(nironir @ 24.08.2016 - 19:37)
А не подскажите где про такой метод можно почитать впервые такое вижу? Разве так можно делать для доверительных интервалов?
Ну, про доверительное оценивание параметра биномиального распределения вы нагуглите самостоятельно (в качестве подводящего упражнения), а про произведения интервалов - вот тут
Цитата(100$ @ 24.08.2016 - 20:11)
Ну, про доверительное оценивание параметра биномиального распределения вы нагуглите самостоятельно (в качестве подводящего упражнения), а про произведения интервалов - вот тут
Ну про дов интервалы для биномиального я понял это ясно. А вот про то как вы ловко обращаетесь с интервалами я не врубаю. Ну то что у орлова это ведь другое там не доверительные интервалы а просто интервалы. Хотя я что то начинаю понимать. Только доверительная вероятность меняется да? P1×p2. Ведь тут как бы одновременное выполнение обоих условий правильно?
Цитата(nironir @ 24.08.2016 - 21:40)
Ну про дов интервалы для биномиального я понял это ясно. А вот про то как вы ловко обращаетесь с интервалами я не врубаю. Ну то что у орлова это ведь другое там не доверительные интервалы а просто интервалы. Хотя я что то начинаю понимать. Только доверительная вероятность меняется да? P1×p2. Ведь тут как бы одновременное выполнение обоих условий правильно?
Доверительная вероятность - это вероятность того, что истинное значение параметра, оцененного по выборке, будет находиться в этом интервале. Это - параметр, задаваемый вами (н-р, 95%). Если бы параметр биномиального распределения был известен точно (для обоих выборок), вероятность одновременного наступления двух "успехов" вычислялась бы точно безо всякого доверительного интервала. А мы в данном случае от точечной оценки переходим к интервальной, и просто перемножаем не два числа, а два интервала.
Цитата(100$ @ 24.08.2016 - 23:17)
Доверительная вероятность - это вероятность того, что истинное значение параметра, оцененного по выборке, будет находиться в этом интервале. Это - параметр, задаваемый вами (н-р, 95%). Если бы параметр биномиального распределения был известен точно (для обоих выборок), вероятность одновременного наступления двух "успехов" вычислялась бы точно безо всякого доверительного интервала. А мы в данном случае от точечной оценки переходим к интервальной, и просто перемножаем не два числа, а два интервала.
Простите но насколько я мыслю немножко иначе получается. Первый интервал накроет истинное значение с вер. p1, а второй интервал накроет свое истинное значение с вероятностью p2. Значит интервал как вы написали "произведение интервалов" накроет истинное значение c вероятностью p1*p2 это и есть новая дов вероятность. Где ошибка в моих рассуждениях?
Цитата(nironir @ 25.08.2016 - 08:33)
Простите но насколько я мыслю немножко иначе получается. Первый интервал накроет истинное значение с вер. p1, а второй интервал накроет свое истинное значение с вероятностью p2. Значит интервал как вы написали "произведение интервалов" накроет истинное значение c вероятностью p1*p2 это и есть новая дов вероятность. Где ошибка в моих рассуждениях?
Произведение частот - это не параметр распределения, оцениваемый по выборке. Ergo, у него никогда не было,нет и не предвидится никакого истинного значения.
Цитата(100$ @ 25.08.2016 - 12:26)
Произведение частот - это не параметр распределения, оцениваемый по выборке. Ergo, у него никогда не было,нет и не предвидится никакого истинного значения.
Произведение частот - это оценка произведения вероятностей а это параметр оцениваемый по выборкам. Он имеет истинное значение которое мы и ищем.
Цитата(100$ @ 24.08.2016 - 18:51)
И никакой Монтекарлы.
Вы свои мысли в массы о "сферическом в вакууме случае" несли бы с меньшим апломбом?
Цитата(nironir @ 24.08.2016 - 17:13)
Ну я так мыслю, что они независимы и оба распределены биномиально. То есть произведение независимых биномиальных величин. А что значит монтекарло по ним? Как это связано с доверительным интервалом? Простите за тупость.
Ну раз интересует чисто теоретическое распределение + такой вырожденный случай, то наверное какой человек давно вывел "точную формулу своего имени".
Но простой способ позволяет посчитать численно _без_ вполне вероятной ошибки выбора такой формулы (особенно для какого то более "заковыристого" случая).
Естественно основной параметр размер выборки и вероятности "выпадения 1".
для выборки из 10 "опытов" число исходов нужных и доверительный интервал
Код
> table(replicate(10000, sum(rbinom(10, 1, 0.5)*rbinom(10,1,0.5))))/10000
0 1 2 3 4 5 6 7 8
0.0547 0.1864 0.2801 0.2469 0.1508 0.0606 0.0170 0.0031 0.0004
> quantile(replicate(10000, sum(rbinom(10, 1, 0.5)*rbinom(10,1,0.5))/10), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.5
0 1 2 3 4 5 6 7 8
0.0547 0.1864 0.2801 0.2469 0.1508 0.0606 0.0170 0.0031 0.0004
> quantile(replicate(10000, sum(rbinom(10, 1, 0.5)*rbinom(10,1,0.5))/10), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.5
из 5ти
Код
> table(replicate(10000, sum(rbinom(5, 1, 0.5)*rbinom(5,1,0.5))))/10000
0 1 2 3 4 5
0.2329 0.3938 0.2706 0.0890 0.0127 0.0010
> quantile(replicate(10000, sum(rbinom(5, 1, 0.5)*rbinom(5,1,0.5))/5), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.6
0 1 2 3 4 5
0.2329 0.3938 0.2706 0.0890 0.0127 0.0010
> quantile(replicate(10000, sum(rbinom(5, 1, 0.5)*rbinom(5,1,0.5))/5), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.6
из 500
Код
> quantile(replicate(10000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.214 0.250 0.288
> quantile(replicate(100000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
> quantile(replicate(1000000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
# "исходный" ДА
> quantile(replicate(10000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(100000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(1000000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
2.5% 50% 97.5%
0.214 0.250 0.288
> quantile(replicate(100000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
> quantile(replicate(1000000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
# "исходный" ДА
> quantile(replicate(10000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(100000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(1000000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
Так что самое "дурное дело" в статистике, это пыжиться инференцию выводить вручную.
Цитата(p2004r @ 25.08.2016 - 19:35)
Вы свои мысли в массы о "сферическом в вакууме случае" несли бы с меньшим апломбом?
Да в том-то и дело, что они не мои.
Кстати, вы же вроде публично клялись не реагировать на мои посты. Что случилось на этот раз?
Цитата(p2004r @ 25.08.2016 - 21:10)
Ну раз интересует чисто теоретическое распределение + такой вырожденный случай, то наверное какой человек давно вывел "точную формулу своего имени".
Но простой способ позволяет посчитать численно _без_ вполне вероятной ошибки выбора такой формулы (особенно для какого то более "заковыристого" случая).
Естественно основной параметр размер выборки и вероятности "выпадения 1".
для выборки из 10 "опытов" число исходов нужных и доверительный интервал
из 5ти
из 500
Так что самое "дурное дело" в статистике, это пыжиться инференцию выводить вручную.
Но простой способ позволяет посчитать численно _без_ вполне вероятной ошибки выбора такой формулы (особенно для какого то более "заковыристого" случая).
Естественно основной параметр размер выборки и вероятности "выпадения 1".
для выборки из 10 "опытов" число исходов нужных и доверительный интервал
Код
> table(replicate(10000, sum(rbinom(10, 1, 0.5)*rbinom(10,1,0.5))))/10000
0 1 2 3 4 5 6 7 8
0.0547 0.1864 0.2801 0.2469 0.1508 0.0606 0.0170 0.0031 0.0004
> quantile(replicate(10000, sum(rbinom(10, 1, 0.5)*rbinom(10,1,0.5))/10), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.5
0 1 2 3 4 5 6 7 8
0.0547 0.1864 0.2801 0.2469 0.1508 0.0606 0.0170 0.0031 0.0004
> quantile(replicate(10000, sum(rbinom(10, 1, 0.5)*rbinom(10,1,0.5))/10), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.5
из 5ти
Код
> table(replicate(10000, sum(rbinom(5, 1, 0.5)*rbinom(5,1,0.5))))/10000
0 1 2 3 4 5
0.2329 0.3938 0.2706 0.0890 0.0127 0.0010
> quantile(replicate(10000, sum(rbinom(5, 1, 0.5)*rbinom(5,1,0.5))/5), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.6
0 1 2 3 4 5
0.2329 0.3938 0.2706 0.0890 0.0127 0.0010
> quantile(replicate(10000, sum(rbinom(5, 1, 0.5)*rbinom(5,1,0.5))/5), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.0 0.2 0.6
из 500
Код
> quantile(replicate(10000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.214 0.250 0.288
> quantile(replicate(100000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
> quantile(replicate(1000000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
# "исходный" ДА
> quantile(replicate(10000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(100000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(1000000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
2.5% 50% 97.5%
0.214 0.250 0.288
> quantile(replicate(100000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
> quantile(replicate(1000000, sum(rbinom(500, 1, 0.5)*rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.212 0.250 0.288
# "исходный" ДА
> quantile(replicate(10000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(100000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
> quantile(replicate(1000000, sum(rbinom(500,1,0.5))/500), c(0.025, 0.5, 0.975))
2.5% 50% 97.5%
0.456 0.500 0.544
Так что самое "дурное дело" в статистике, это пыжиться инференцию выводить вручную.
Спасибо. А этот метод как называется где можно почитать? Это бутстреп? Я просто изучил классические вещи а такие штуки не изучал но очень хочется посоветуйте.
Цитата(nironir @ 26.08.2016 - 08:51)
Спасибо. А этот метод как называется где можно почитать? Это бутстреп? Я просто изучил классические вещи а такие штуки не изучал но очень хочется посоветуйте.
В принципе весь метод и называется "метод(ы) Монте-Карло". Это способ "взятия интегралов" предельной сложности. Поскольку сама природа теовера "более чем целиком" сводима к этому процессу, то его применение на практике останавливала только трудоемкость выполнения. Потом "экономили машинное время". Сейчас абсолютно ничего не останавливает специалиста от применения, кроме незнания
На всякий случай --- никто на _практике_ не решает _реальные_ (не сферические в вакууме) задачи теовера аналитически, это в подавляющем большинстве случаев просто _запредельно_ сложно_. (например см. практику расчетов в Теории надежности, которая вся эквивалентна теоверу).
Что бы не придумывать "схемы выборок из распределений" "самотужно" и избегать ошибок есть генераторы эффективного семплера под задачу из декларативного описания -- (Win|Open)Bugs(BUGS), JAGS .
Есть Church реализующий целиком концепцию таких вычислений -- probabilistic programs.
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.