Мне представляется недостатком, что число перевыборок Вы просто принимаете равным 5000 или 10000. Это должно каждый раз доказываться сходимостью (с соответствующей оценкой точности полученного результата).

Джентльмены! Не могу в литературе найти подсказки относительно вот какого момента:

пусть исходная выборка выглядит так: 1,01; 2,02; 3,03. Дробную часть пишу для того, чтобы подчеркнуть, что выборка извлечена из абсолютно непрерывного распределения.
Размноженные выборки вполне могут иметь такой вид: (1,01; 2,02;2,02); (2,02; 3,03; 3,03) и т.д.

В исходном распределении повторов ("связок") не было ( в непрерывном распределении вероятность совпадений = 0).

Означает ли это, что при бутстрапировании у нас поменялся закон распределения случ. вел-ны, и полученные рез-ты (н-р, бутстраповские квантили для среднего) не имеют отношения к первоначальной задаче?

Не сочтите за оффтоп, просто нет смысла создавать новую тему.

Большущее спасибо за наводку. Скачал. Действительно, прекрасная книга.
А остальные три книги Гуда из этой серии у меня есть. Но Вы меня успокоили, что четвертую искать не стоит.

Замечание важное. На стр. 27 я пишу об эмпирических соотношениях, полученных Эджингтоном, что уже при числе перевыборок около 1000 разумная точность в 3 знаке тестируемой статистики почти гарантируется.
Но какова технология проверить Эджингтона? Что является критерием достаточности итераций?
Скажем так. Принимаем за критерий постоянство значений смещения (bias). Задаемся числом итераций В, например, 100, 200, 500, 1000, 2500, 5000, 10000. Для каждого В выполняем, например, по 10 повторностей (каждая процедура бутстрепа возвращает несколько иные результаты). На каждом шаге выполняем проверку гипотезы о равенстве среднего смещения относительно полученного на предыдущем шаге.
Но где гарантия того, что гипотеза не отклонится уже при В=100? Но будет отклоняться при В=1000. Кто гарантирует монотонность сходимости процесса? Есть ли где-нибудь программные продукты (скрипты)?

И еще. Мне уважаемые TheThing и nokh обещали показать теоретически выдержанное словесное определение доверительного интервала. Напомню, что я изложил это, как
" .... в параметрическом пространстве выделяются границы области возможных значений оценок, соответствующие заданной вероятности. Доверительный интервал ? статистический показатель, позволяющий оценить с надежностью гамма, в каких пределах может находиться истинное значение параметра в популяции." Согласен, коряво. Во-первых, не отражено то, что этот интервал считается случайным, поскольку он основан исключительно на выборке (а вот и нет!!! еще и на предположениях о законе распределения генеральной совокупности!!!).
Во-вторых, не отражено, что истинное значение параметра неслучайно, т.е. константа. Боровков (стр. 254) считает, что говорить "может находиться" менее аккуратно для неслучайной величины, чем "накрыл" эту неслучайную величину. Все это - так себе казуистика: если нам не известны ни закон распределения генеральной совокупности, ни способ вычисления этого истинного параметра, то суждение, что он - неслучаен, нам ничего, кроме отвлеченных раздумий не дает. Какая нам разница, параметр - случайная или неслучайная химера?.
Но это все треп. Как бы то не было, толковое определение нужно.

К сожалению не смог вспомнить ( а следовательно и найти) источник, который повлиял на меня, заставив занять столь жёсткую позицию на определение ДИ. Полазил по имеющимся словарям-справочникам и существенно смягчил её. Видимо сказывается ещё советская шкала, требовавшая чёткого определения чего-бы то ни было. А в уважаемых англоязычных источниках чего только не насмотрелся. Выслал Вам 2 источника, которые мне нравятся и откуда можно скопиллировать хорошие определения. Свои лекции тоже буду подправлять...

Сообщение отредактировал nokh - 15.08.2012 - 18:54

скрипт не представляет проблемы

допустим надо оценить какой то параметр (в данном случае "нижнюю" границу 95% доверительного интервала)




Это просто нереально отредактировать с этим ява скриптовым редактором который лезет заменять все табами (

по моему Вы слишком оптимистичны о скорости схождения. Что бы получить в данной простой схеме бутстрепа 3 значащих цифры понадобится существенно больше 100000 перевыборок.

вот для c(5000,10000,20000,40000,80000)

... и для c(80000,160000,320000,640000,1200000)

PS вот можно и напрямую разности между результатами посчитать



Сообщение отредактировал p2004r - 16.08.2012 - 17:47

Тре бьен , т.е. очень хорошо и воспитательно. Картинки красивые, изменчивость (хотя и статистически незначимая) налицо. Но вот как насчет конечной цели - автоматического итеративного процесса подбора оптимального числа бутстреп-повторностей? И самое главное - каковы формальные правила останова или движения дальше. И чтоб на все случаи жизни... Мне-то не влом - машина железная и пусть пашет (пошел покурить - 1000000 настукало, в парке с пивком прогулялся - еще 10000000). Но а все-таки, как оценить, сколько вешать в граммах?

Сообщение отредактировал stok1946 - 16.08.2012 - 21:07

1. Точность она а) абсолютная и б) относительная

Абсолютная считается в PS предыдущего поста, относительная --- делим измеренную абсолютную точность на величину критерия который мы пытаемся находить.

2. Достаточность точности выбирает исследователь. в практически реализованных процедурах выбранная им точность служит критерием останова (ну и еще ограничитель числа итераций ставят).

в бутстрепе не существует какого либо критерия с "перегибом", в области которого оптимальная точность. Чем дольше считаешь тем точнее результат

Безусловно процесс вероятностный, можно поэтому по дисперсии абсолютной ошибки накапливать уверенность в результате (одиночная ошибка с вероятностью 0.001 может выскочить за некую границу сверху). Ну еще один тогда параметр в процесс останова --- вероятность что точность заданная на самом деле превышается в одиночном численном эксперименте с достигнутыми на момент останова параметрами перевыборки.

3. По поводу статистической незначимости. Вы видите всё распределение целой серии попыток определить перевыборкой некий критерий, но исследователь получает одну реализацию. Следующая реализация получается очень даже отличная от предыдущей. Кроме того, даже на глаз дисперсия более чем достоверно (в масштаб даже не лезет ) меняется. ошибка (обратная величина точности) в данном случае это дисперсия серии бутстрепов. (на в PS предыдущего поста вполне себе мера ее померять).

В книге на стр. 29 написано критерий Стьюдента-Крамера-Уэлча. Прошу авторов разъяснить, откуда взято это название критерия. О чем идет речь? В доступной мне статистической литературе я не нашел такого названия, кроме опусов профессора Орлова. Но когда я зашел на форум к Орлову и задал вопрос, то не только не получил внятного ответа, но мои вопросы и сообщения были удалены без всякого объяснения. Похоже, он это придумал и это его вклад в современную статистику. Более того, Орлов пишет, что этот критерий является непараметрическим. Поэтому я задаю вопрос вроде бы как нормальным авторам: откуда? Откуда дровишки? Ссылаясь на Орлова, авторы также вносят вклад в современную статистику. Если вы помните, ложкой дегтя можно испортить бочку меда. Советую исключить из списка литературы опусы Орлова. Хотя если авторы профессора и Орлов профессор, то как говорится ...

Сообщение отредактировал pifagor - 1.09.2012 - 15:42

А что, популяция тракторов, результатов химического анализа, профессоров статистики и экологии, звучит. Или популяция ненужных книг? Популяция Орловых - вот насколько она велика?


Сообщение отредактировал pifagor - 1.09.2012 - 15:56

Предположим, у нас имеется генеральная совокупность, тьфу ты, популяция Орловых. И мы у них измерили некий показатель скажем хамства. Обозначим этот показатель ОХ. И у нас этих Охов скажем 10 000. Находим центр распределения (нормальное распределение), дисперсию популяции. Потом извлекаем случайно выборку. И подвергаем этих ОХов бутстрепу. Оцениваем генеральную среднюю, строим доверительный интервал. Так вот, если это повторить 5000 раз, в скольких процентах доверительный интервал накроет популяционную среднюю? Каков процент правильных интервалов? А если эти орловы распределены не по нормальному закону? Тогда? Если можно, приведите конкретные исследования ваши или дайте ссылки. Лучше ссылки.

Manly B. F. J. Randomization, bootstrap and Monte Carlo methods in biology.
Обращаюсь к авторам. Вы упоминаете эту книгу. Подскажите, где ее скачать или если у вас есть, поделитесь.
Может, просто перевести на русский язык эту книгу? И всего делов-то.

Сообщение отредактировал pifagor - 1.09.2012 - 16:31

ПРОБЛЕМЫ ЭКОЛОГИЧЕСКОГО ЭКСПЕРИМЕНТА
(ПЛАНИРОВАНИЕ И АНАЛИЗ НАБЛЮДЕНИЙ)
Под редакцией чл.-корр. РАН Г.С. Розенберга
и д.б.н. Д.Б. Гелашвили
Если это ваша книга, так у меня вопрос по этой книге. В главе 3.2. Шитиков В.К., Розенберг Г.С., Крамаренко С.С., Якимов В.Н. Современные
подходы к статистическому анализу экспериментальных данных на стр. 225 приводится мера воздействия как разность средних отнесенная к стандартному отклонению этой разности. Дальше приводится дисперсия этой величины. А как распределена эта величина и как вы получили формулу для дисперсии этой величины? Было бы весьма любопытно узнать как.
http://www.ievbras.ru/ecostat/Kiril/Download/Mepe.pdf По этой ссылке я скачал книгу.

Глубокоуважаемый Pifagor. Вы, кажется, чем-то раздосадованы? Мы в чем-то виноваты?
Но попробую ответить на конкретику.
1. Я набрал в Гугле "критерий Стьюдента-Крамера-Уэлча" - вывалилось несколько десятков ссылок. Правда говорят о критерии Стьюдента и его модификации - критерии Крамера-Уэлча. Но назвать всех их семейством критериев Стьюдента-Крамера-Уэлча - не есть криминал.
2. Относительно устойчивости бутстреп-процедур при негауссовом характере распределения выборки вроде много рассуждается и Эфроном и другими авторами (да и нами, в том числе на наших примерах). Если у Вас есть подходящая выборка - давайте попробуем поэкспериментировать.
3. Относительно книжки Манли - нашел только полуслепой скан весом около 200 Мб и только 1-го издания 90-х годов. Мы взяли из этой книжки только последовательность изложения (рубрикатор глав) и очень небольшие куски изложения. Почему просто не перевели?
Во-первых, там у него американские примеры, которые трудно повторно просчитать. Нам показалось интересным и полезным выполнить все расчеты самим и на собственных примерах (точнее, на информации, предоставленной нам нашими друзьями - биологами и экологами).
Во-вторых, изложение Манли вращается вокруг десятка фортрановских программ, которые он сам и сочинил. Я на Фортране уже не пишу лет 20. Поэтому мы вначале показали ресамплинг на двух простеньких программах (Ховелла и Ядвисчака), а потом все подряд стали просчитывать в статистической среде R (тем более, что программы Манли в многомерных случаях стали глючить). Так что наша книжка - еще и самоучитель по R-кодам.
В-третих, в англоязычной литературе иногда рассказывается о тех же вещах подробнее и интереснее, чем у Манли. Это просто потеряется при переводе. Как и те вещи, о которых Манли вообще не упоминает.
4. К сожалению, раздел по мета-анализу в упоминаемой Вами книги по большей части (и Ваша цитата, в частности) - голый перевод финской методички Sinha et al., 2006 (на нее трижды идет ссылка по тексту). Сам я никогда мета-анализом практически не занимался, каюсь. Но является ли криминалом попытка донести прочитанное до читателей в виде литературного обзора?
5. Не думаю также, что упоминание Орлова и его работ является криминалом. Можно по разному к нему относиться, как к ученому или человеку, но у него я впервые увидел в табличной форме список разъясняемых статистических терминов. Хорошо, правда, его устаканить, приблизить к грешной земле и узаконить.

1. Если можно, дайте ссылку, откуда скачать Манли. Очень прошу. Или поделитесь, если конечно не жалко.
2. Если можно, укажите распределение величины эффекта, какое же распределение этой величины. Я имею в виду вашу книгу, стр. 225. Эффект измеряется отношением разности средних к ст.отклонению разности. Книга гл.3 Современные подходы к статистическому анализу данных. Вы ушли от ответа. Или это не ваша книга?
3. Критерия Крамера-Уэлча (еще приплюсовали сюда и Стьюдента) нет. Крамер и Уэлч не имеют к этому отношения. Крамер в своей книге вообще не упоминает даже этот критерий.
Именно на эту книгу ссылается Орлов. Поймите, не надо заниматься профанацией прикладной статистики. Или вы используете традиционные критерии или предлагаете свой. В этом нет криминала. Но свой- давайте ему название, укажите как им пользоваться, таблицы и т.п. Но причем здесь Крамер? Это вызывает удивление. И причем здесь Уэлч? И почему этот критерий как пишет Орлов непараметрический? Где аргументы?
Назовите критерий - критерий Крамера-Уэлча-Фишера-Стьюдента-Саттарвайта-Рао. Орлов здесь примазывается к классикам. Ставит себя в этот ряд. Этот ряд можно продолжить. Добавить Вейра, Тьюки, Шеффе обязательно. Вот это будет критерий. Нужна элементарная добросовестность. А не использовать имена классиков в роли бренда. Элементарно, Ватсон. Вы или не понимаете или ваньку валяете.
Но- черт с ним, с этим Орловым. Орловых много.
Еще раз пожалуйста, книгу Манли. И распределение на стр. 225. Очень нужно для работы.
А так все ничего. Желаю удачи.

Сообщение отредактировал pifagor - 2.09.2012 - 10:43