Уважаемые коллеги. К сожалению, у нас нет вопросов на форум (точнее, они, безусловно есть, но не о них речь).

Специалисты насчитывают сотни тысяч изданных книг по мат. статистике. И обычный читатель вряд ли в состоянии одолеть хотя бы 2% из них.
Но мы пошли на риск и начали писать еще одну книгу "Рандомизация, бутстреп и методы Монте-Карло. Примеры статистического анализа данных по биологии и экологии."
Написали три главы и по ряду причин сочли разумным выложить для свободного прочтения ее неполный вариант. Во-первых, время не ждет. Во-вторых, эти три первые главы имеют, в некотором смысле, общедисциплинарный характер и могут быть интересны и биологам, и экономистам, и врачам. Далее будут описаны многомерные методы, а они в значительной мере имеют экологическую специфику. И, наконец, в-третьих, мы с благодарностью примем любые замечания и пожелания (туда ли мы плывем и нужно ли все это).
Часть примеров была подготовлена в статистической среде R (скрипты представлены в приложении). Мы не имеем здесь совсем мало опыта и надеемся на доброжелательную критику специалистов в этой области. Кроме того, "Остапа часто несло" , и в результате некоторые наши обороты могут быть статистически неполиткорректными. Мы надеемся, что закаленные в "терминологических битвах" и умудренные товарищи нас поправят.
А аспирантам по различным биологиям и медицинам новый взгляд на статистические вещи может быть весьма полезен.
А пока не сочтите за труд зайти на
http://www.ievbras.ru/ecostat/Kiril/Article/A32/Stare.htm
и скачать файл "Рандомизация, бутстреп и все, все, все..." в формате Acrobat Reader.

Спасибо за труд! Думаю, книга должна получиться интересной судя по содержанию.

Из пожеланий - хотелось бы конечно побольше примеров в среде R (если Вы ее выбрали), чем то количество, которое пока приведено в приложении. Поскольку программа, разработанная Howell имеет довольно ограниченные возможности и служит больше для демонстрации принципов работы различных методов, мне кажется, что намного больший интерес к книге вызвало бы использование методов ресамлинга в какой-либо статистической среде (будь то R, syntax SPSS или макросы SAS). И именно все это я давал бы в основном разделе, а не в приложении, а в приложение - вынес бы программу Ховела. Все таки большинство людей работает в определенных статистических средах, а не в этой полезной программе. Поэтому бы акцент сместил на практическое использование методов ресамплинга в любой стат. среде.

Много прочитать не было возможности, но на стр. 13 кажется (и с определенным разбросом по всей книге ) дается трактовка 95% доверительных интервалов как "с 95% вероятностью среднее будет лежать в определенных диапазонах" - точной цитаты не могу привести, поскольку книги нет под рукой.

Дело в том, что популяционное среднее, как и любой другой популяционный параметр - это константа, а не случайная величина. Вероятность того, что константа попадет в определенные диапазоны равняется или 0 или 1. Доверительный интервал описывает некоторую неоднозначность (неопределенность), которая ассоциирована с методом сэмплирования. Поэтому если бы Вы собрали 100 выборок, 95% доверительный интервал говорит, что 95 выборок из 100 будут содержать популяционное среднее в этих определенных диапазонах.

Приложение с R кодом начинается довольно странно.."Cистема статистических расчётов R (Шипунов и др., 2012) ........ что-то такое" - создается впечатление, что то ли Шипунов в 2012 разработал эту систему, то ли поведал всему миру про нее Поэтому если Вы хотели сказать, что Шипунов написал хорошую книгу по R, я бы по-первых не начинал с этого приложение ну и сделал бы это немного по-другому.

Если будет желание - поправьте в книге.

Большое спасибо TheThing за добрые слова и внимание к нашей скромной работе.
Несколько слов пояснений.
Мы пытались адресовать нашу книжку массовому слою аспирантов - биологам, экологам, медикам. В большинстве случаев у них едва остается время от основной экспериментальной работы, чтобы освоить один какой-нибудь стандартный пакет типа Statistica. Поэтому у них естественна тяга к простеньким модулям, запускаемым через меню ("просчитать и забыть"). И в этом их упрекнуть трудно. И лишь два из десяти аспирантов и будущих научных работников приобретают вкус к "статистической продвинутости" и начинают осваивать язык R, MathLab и проч.
Программа Ховела при всей ее "демонстрационности" все же реализует 13 основных методов одно-двухмерной обработки, необходимость которых на практике наиболее велика (скажем так, это - рамки 70-80% защищаемых диссертаций).
Но зачем им тогда рандомизация и бутстреп, если есть Statistica? Стандартные замечания оппонента к рецензируемой диссертации очень часто сводятся к "каверзным" фразам типа "А как Вы проверяли нормальность распределения показателя или равенство дисперсий в группах" или касаются иных предположений классического анализа. Ответ соискателя "Мы выполняли параллельно расчеты с использованием рандомизационного теста" - прекрасный способ аргументации, призванный убедить самый придирчивый Ученый Совет.
Поэтому мы хотим написать не очередное руководство по использованию среды R, а описать смысл самих методов и представить весь спектр инструментальных средств расчета (от простых программулек для самых занятых до более сложных языковых конструкций для "продвинутых").

Что касается определения доверительных интервалов, то их в литературе довольно много и в целом они все нас устраивают. Мы "не гурманы, а потребители " и нам достаточна его интерпретация, основанная на интуиции: доверительный интервал почти наверняка содержит истинное значение оцениваемого параметра θ, если p достаточно велико (скажем, 0,95 или 0,99).
Единственное, против чего мы - это использовать предложенное Гмурманом словосочетание "покрывает параметр", т.к. опыт работы на станции искусственного осеменения крупного рогатого скота вызывает в нас неординарные ассоциации.

По-моему мнению, эта интуитивная интерпретация, которая приведена в Википедии или справочнике по прикладной статистике за 1989 год, не совсем удачно микшует 2 кардинально отличающиеся школы - школу Баеса и школу частотников. В школе Баеса, интервал доверия (credible interval) - это апостериорная вероятность, что некий параметр лежит в определенных диапазонах и она составляет например 0.9. Вот значение 0.9 - ассоциируется с вероятностью, с "почти наверняка". А в школе частотников доверительные интервалы не имеют никакого отношения к вероятностям.

Я очень осторожно отношусь к определениям в Википедии - возьмите тоже определение p-value:

"In statistical significance testing, the p-value is the probability of obtaining a test statistic ..... bla-bla-bla

то есть p-value - это вероятность, а на самом деле это особый вид вероятности, а именно условная вероятность. Разница между вероятностью и условной вероятностью - небо и земля Большинство западных учебников дает неправильное определение из Вики (как обстоит дело с нашими учебниками Вы сами знаете ) и лишь немногие авторитетные источники (в том числе литература по SAS, которая для меня является практически эталоном качества) приводит правильные формулировки. А когда Вики переводится на русский язык, мы на защитах имеем, что р - это "достоверность отличий", р>0.05 - это "нет разницы между средними", p - это ошибка первого рода, р - это вероятность случайно получить наблюдаемые результаты и .т.д

Я понял основное направление книги, с удовольствием читаю в свободную минуту!

А что такое популяционное среднее, и чем оно отличается от выборочного (то бишь эмпирического)?

Ну если бы они не отличались, мы бы не занимались вопросами репрезентативности выборок и поиском доверительных интервалов относительно показателя генеральной совокупности.

P.S. тема про книгу

Статистика не оперирует термином "популяционное среднее", зато есть генеральное среднее и выборочное. Я просто пытаюсь для себя уточнить, какое же из этих средних вы имеете в виду, и с какого перепугу это среднее вдруг стало константой.

Если уточнять терминологию, то весь нерусскоязычный мир использует термин population parametrs, имея в виду пределы, к которому стремятся выборочные характеристики при бесконечном увеличении однородных повторностей отбираемых выборок (т.е. некая химера ).
Термин "популяция" здесь совсем не то, что биологическая популяция, а то, что русские называют "генеральной совокупностью" (привычка, наследованная от Генерального комиссара Ежова и последующих генеральных секретарей). Это - очередная глупость, потому что генеральная совокупность по определению - это универсум или множество, содержащее все мыслимые объекты. В реальной жизни мы обследуем именно популяции (ареал экземпляров одного вида, имеющий естественные границы).

Academic Dictionaries and Encyclopedias:

population parameter - a quantity or statistical measure that, for a given population, is fixed and that is used as the value of a variable in some general distribution or frequency function to make it descriptive of that population: The mean and variance of a population are population parameters.


STEPHEN E. EDGELL Commentary on Accepting the null hypothesis

"the most common population parameter in null hypotheses is the population mean. The population mean is the expected value of a random variable, and the expected value of a random variable is a constant"


Из курса статистики: (The Statistics Department at the University of Wisconsin-Madison):

"A statistic is any quantity which can be calculated from the observed random sample, that is to say a function of the observations X1, X2, ... , X n such as the sample mean and variance.
The later are often used to estimate the actual constant population parameters mean and variance "

Programmed Statistics (Question-Answers) - 2nd edition by B.L. Agarwal:

"We know that various sampling procedures do exist and and there are many techniques to determine the value of population constants (like population mean) through sample values".

Статистика не оперирует термином "популяционное среднее" - это "наша" статистика не оперирует, а "их" - еще как оперирует Зато "их" не знает, кто такие комиссары Ежовы
При всем уважении к "нашим", больше доверия у меня к "ихним".

P.S. не люблю термин "генеральная совокупность", но иногда он проскальзывает

Вот-вот, так тупые кальки с английского начинают обретать черты адекватности.

Что касается словечек "fixed", "constant", то, похоже, это - не константы в мат. пониманиии этого слова, а то, что в отечественной литературе по теории статистики принято называть "обобщающими статистическими характеристиками" в том смысле, что у любой ген. совокупности каждая из таких характеристик (среднее значение как состоятельная оценка мат. ожидания с.в., дисперсия как мера характеристики разброса, etc.) может быть только одна.

Suppose that a 90% confidence interval states that the population mean is greater than 100 and less than 200. How would you interpret this statement?
Some people think this means there is a 90% chance that the population mean falls between 100 and 200. This is incorrect. Like any population parameter, the population mean is a constant, not a random variable. It does not change.

A parameter is a number computed from a population. Contrast this with the definition of a statistic. A parameter is a constant, unchanging value. There is no random variation in a parameter

Здесь четко дают понять, что "они" имеют ввиду под константной (fixed) величной.

Все понятно: они хотят сказать, что после того, как мы обработали всю ген. совокупность, вариация изучаемого признака закончилась. Это означает, что доверительное оценивание генеральной средней (медианы, сигмы, etc.) - бессмысленно (как и вторая часть моего поста #10)

Книга, действительно, нужная, Благодарю! Критика будет доброжелательная и, надеюсь, конструктивная. Читал, к сожалению, пока тоже по диагонали и мог что-то упустить, не заметить - заранее прошу прощения (прижмёт - углублюсь ) Нумерация не по важности, а для подобия структуры.

1. Считаю целесообразным не дописывать остальные главы в этой книге, а ограничиться уже написанным дошлифовав его. Во-первых, это ускорит выход в свет полезного материала. Во-вторых, комбинация названий запланированных глав оставляет впечатление чего-то накиданного в кучу. Здесь же и дискриминантный анализ, и PCA, и временные ряды, и ещё и байесовские методы. Не нравится мне этот набор.

Возьмём, например, PCA. Где здесь место ресэмплингу? Есть пакеты, где с его помощью оценивается нетривиальность нескольких выделенных компонент (тот же PAST, CANOCO). На этом ресэмплинг и заканчивается. Чтобы проверить устойчивость выделенной факторной структуры нужны уже немалые куски хорошего кода на R, которых в готовом виде на момент увлечения этим в сети не нашёл. Кто не пробовал: там сложность в изменении знаков факторных нагрузок с + на - и в изменении последовательности выхода компонент от (псевдо)выбоки к выборке. Т.е. нужны дополнительные алгоритмы удержания показателей в одной четверти факторной диаграммы. Кроме того PCA - для количественных показателей, а что делать с порядковыми, с качественными? Получается, что для полноты картины нужно дать представление и о нелинейных и/или категориальных PCA, о главных координатах, об анализе соответствий. PCA - корреляционная техника, а что делать если нужна зависимость комплекса показателей от регрессоров. Выходит нужно знакомить с каноническим анализом соответствий, анализом избыточности. Если про это не сказать, то у читателя в голове останется вакуум, который он или не заполнит, что приведёт к перекосу мозга, или заполнит в меру своего непонимания, что приведёт к некорректному использованию во всех случаях единственной описанной техники. Считаю достаточно удачной книгу Джонгмана, Тер-Браака и ещё кого-то - Анализ данных в экологии сообществ и ландшафтов. Она переведена на русский, есть в сети в djvu, могу выслать. Хотя самая лучшая и нужная ещё не написана.

Сходная картина с дискриминантным анализом. Этот анализ позволяет разделять группы в многомерном пространстве количественных признаков. Если считать, что с помощью преобразований мы любые количественные признаки можем нормализовать, то всё равно остаются вопросы с порядковыми и качественными данными. Выходит, нужны понятия (а может и полноценные блоки) о множественной логистической регрессии, деревьях классификации и лесах решений - исключительно ресэмплинг-технике. Показательно, кстати, что в пока соседней теме ни у кого из отвечавших мысль о дискриминантном анализе не возникла ( http://forum.disser.ru/index.php?showtopic=3110 ), хотя даже леса деревьев построили. Это косвенно указывает на неуниверсальность и, возможно, старомодность техники линейного дискриминантного анализа. А применительно к деревьям решений необходимо также раскрывать тему перекрёстной проверки (cross-validation) - единственной ресэмплинг техники, которая осталась без внимания в обсуждаемой книге.

Короче, считаю невозможным дать качественную информацию по всем запланированным темам в одной книге.

2. Структура материала. Мне её не хватает. Увидел "бутстреп" и глаза ищут "процентильный", "ВСа" и не находят очень долго. Находят только в таблице, а потом опять ищут. Полагаю, что раз термин вынесен в название книги нужнен блок с классификацией разновидностей метода, где бы чётко прописывались их достоинства и недостатки. Аналогично по другим разделам - хочется чтобы монотонный текст разбивался на кусочки.

3. Определения. Все определения нужно дать как можно раньше. А то для "ресамплинг" есть опредление, а в следующем предложении - "бутстреп" без определения и непонятно о чём речь. Определения должны быть качественными. Мне, как и TheThing, сразу резануло глаза определение доверительного интервала. К тому же здесь же был введён термин "статистическая надёжность" с обозначением "p", традиционно, вслед за Фишером, используемом в другом значении (p-value). Уверен, что из всего многообразия определений нужно выбрать единственно правильное. Правда я тоже частенько затрудняюсь с единственным определением . Самые грамотные определения часто непонятны для новичков. Даю студентам под запись 2 определения: (1) неправильное (Ваше, но с "покрывает") - оно понятное и (2) правильное (близко к данному TheThing). Аналогично даю и для Р: (1) неправильное (непрямая мера оценки вероятности нулевой гипотезы) - чтобы помнили, про доказательство "от противного" и (2) правильное (про вероятность наблюдать данные). Говорю примерно так: неправильные определения доступны для понимания и общий смысл передают, но если увидите его в учебнике - это учебник слабого автора, могут быть и другие ляпы.

4. Кому предназначена книга. Книга ориентирована явно не на продвинутого в статистике исследователя, скорее даже на новичка. Для дидактических целей программа Ховела подходит. Но в единственном виде она плоха. Во-первых, когда несколько лет назад я искал софт для бутстрэп-оценок ДИ, я пытался её использовать, но на части наборов данных она "вылетала" и не считала. Во-вторых, новичку лучше привыкать к более традиционной форме статпакета и/или к коду. В книге же кода мало (согласен с TheThing, что ему место в теле книге), а программа Ховела - не статпакект. Я бы сделал весь упор на PAST. Включая пути до методов и скриншоты. Он имеет более традиционный вид и просто находка для эколога: считает все индексы разнообразия, изложенные в Вашей замечательной "Количественной гидроэкологии" и даже больше, проводит по ним кластеризацию и считает главные координаты (последние тоже нужно давать!) + постоянно в развитии. Также считает бутстрэпом ДИ и кое-какую статистику перестановкой. Также разделение смесей распределений, анализ форм и др. почти уникальные вещи. Я бы делал ставку на этот пакет. Познакомились с методом, полюбовались на Ховела (если не вылетит), а теперь - как это обсчитать в жизни - т.е. в PAST и в R. Графика в пакете слабовата, но не все такие эстеты до графики как я. А эстетам я советую такой путь: скопировать график в буфер, а затем вставить и довести до ума в замечательном и бесплатном векторном редакторе научной графики от Цыплакова: http://sourceforge.net/projects/tpx/files/

5. Раздел про корреляцию я бы отделил от раздела с регрессией - это близкие в вычислительном плане, но принципиально различные по решаемой задаче техники. К тому же по каждой есть что сказать. Новичков нужно учить не путать задачи. Я не так давно "ругал" наших экологов за то что пытаются искать зависимость обилия фитопланктона от температуры регрессией. Почему от температуры, а не от направления ветра, который гоняет этот планктон от берега к берегу, не от количества солнечной радиации, которая, кстати также и нагревает воду, и т.д. Просто потому что легче измеряется? И почему обычная регрессия если фактор "температура" мы не контролируем, а только измеряем. Раз не контролируем, он так же как и отклик подвержен ошибкам и нужна другая регрессия, скажем Reduced major axis. И для последней, и для major axis, а особенно для ядерной (kernel) регресии ресэмплинг техники очень важны, а робастная регрессия Кенделла-Тейла и есть в чистом виде ресэмплинг типа складного ножа.

6. Ну и ещё соавтор Ваш пишет, на мой взгляд, сложновато для восприятия. Как и в "Количественной гидроэкологии". Чувствуется математик, а не эколог. А для экологов должен писать эколог. Разделы (а лучше - следующие книги) по многомерным методам будут, вероятно, тяжеловесны. Прекрасно понимаю, что с этим, к сожалению, сложно что-то сделать: я сам в качестве соавтора воюю за каждую свою фразу, которая, возможно, кому-то тоже может казаться тяжеловесной. Но думаю можно скомпенсировать именно разбором примеров на каждую решаемую задачу или метод.

Ну вот вроде и всё Успехов Вам!

Глубокоуважаемый nokh!
Искренне благодарен за Ваш труд сделать столь подробную рецензию. Вынужден признать, что почти все Ваши замечания весьма обоснованы и заставляют задуматься о бренном. Хотя точная взвешенность их применимости в настоящей работе, вероятно, еще придет в ходе тех же раздумий.
А пока ? несколько конкретных ответов на вполне конкретные вещи!
1. Стоит ли в одной книге совмещать многомерные и одномерные методы?
Мы ставили вполне скромные задачи:
 Тем, что не имел понятия о методах ресамплинга, ?на пальцах? разъяснить механизмы их работы в простейших случаях (на уровне рекламного проспекта Мура с соавторами в The Practice of Business Statistics);
 Одновременно для тех, кто этим не удовлетворился, расширить спектр рассуждений о применимости ресамплинга немного дальше, чем это делают картинки Ховела, ? на регрессию, классификацию, ординацию (насколько хватит моих скромных усилий);
 Привлечь внимание (частичное) к использованию среды R, когда готовых инструментов для проведения расчетов не хватает;
 Напомнить о существовании таких прекрасных, но недостаточно обсуждаемых вещей, как кросс-проверка, генетический алгоритм, метод опорных векторов, тест Мантеля, случайный зонд Пиелу, дисперсионный анализ матриц дистанции Андерсона, бутстрепирование деревьев классификации и др.
Образцом для нас явилась книжка Манли ?Рандомизация, бутстреп и методы Монте-Карло в биологии? (к сожалению, удалось найти только отсканированное 1-е издание 90-х годов, а в 3-м издании 2007 г. все много лучше). Как в выпусках Гуда, им обоим удалось все же рассказать обо всем понемногу (хотя, безусловно, и не слишком глубоко).
2. В рамках методов PCA и ординации мы планировали ограничиться описанием алгоритма Pillar V.D. 1999. The bootstrapped ordination reexamined. Journal of Vegetation Science 10: 895-902. и использовать их пакет Multiv (см. стр. 197-199 в нашей книжке ?Макроэкология? - http://www.ievbras.ru/ecostat/Kiril/ ).
3. С определениями доверительного интервала ? тяжело. Они, как правило, никого не удовлетворяют. Вот А.Орлов в ?Эконометрике? попытался дать таблицу терминов. Например, он там пишет: ?Доверительное множество - определяемое по выборке случайное множество в пространстве возможных состояний оцениваемой составляющей?. Зашибись, как понятно!!! Пока у TheThing нашел лишь ?Доверительный интервал описывает некоторую неоднозначность (неопределенность), которая ассоциирована с методом сэмплирования?. Про ?покрытие параметра? я уже писал.
Я ? единственный человек, которому абсолютно здесь все равно. Буду рад любому ?правильному? определению доверительного интервала или бутстрепа, которые появятся здесь у нас в студии. ?Я ? не гурман, я ? программист?. И пусть это останется только между нами, но я внутренне считаю, что ценность даже самых ?теоретически взвешенных? определений ? лишь в глубокомысленных теоретических рассуждениях, спорах и желании ?уесть? оппонента. Сокровенный же смысл любой статистики (критерия или оценки вероятности) с полной определенностью представляем отнюдь не словами, а схемой их расчета по выборочным данным. Уверен, что нельзя сводить прикладную статистику к юриспруденции с ее зацикленностью на точности формулировок и полным произволом их толкования в залах суда.
4. Конечно, программа Ховела ? не эталон (боюсь, что она еще и далеко не всегда верно считает). PAST я люблю и давно пропагандирую, но ее трудно использовать как учебник по бутстрепу. Все же R.
5. Любой автор книг полупопулярного профиля зажат между Сциллой упрощенного примитивизма и Харибдой усложненной тяжеловестости . Будем пробовать выкрутиться.
6. С примерами ? свои большие трудности, т.к. ряды маленькие, наблюдения ведутся непонятно над чем и або как и т.д. Как и во всей биологии, управляемый эксперимент почти полностью отсутствует и вариация объясняющей переменной носит всегда случайный характер (хотя это не повод отказаться напрочь от обычных моделей МНК).
Все же хочется показать расчеты на своих близких и понятных данных, а не на дюнах Джогмана- тер Браака. Кстати, у меня есть только их англоязычная книжка (PDF). Буду очень признателен, если пришлете русскоязычный вариант (лучше на stok1946@gmail.com ). Когда-то мне давали плохо ксерокопированный вариант на два дня. Успел отсканировать только главу по ординации, а что там было написано, расшифровываю и поныне.
А еще ?вот бы найти файл с книжкой Good P. Introduction to Statistics Through Resampling Methods and R/S-Plus (отдам пол-царства по eMail) .
С искренней благодарностью.

Этой книги в эл. варианте в сети пока нет

А не смотрели вот эту? http://www.amazon.com/Resampling-Methods-P...ampling+methods

Тот же автор, 2005 год, больше положительных отзывов на Амазоне, примеры кода подаются на многих языках, не только R/S, легко читается, есть в сети.

Есть еще "Mathematical Statistics with Resampling and R" http://www.amazon.com/Mathematical-Statist...ampling+methods

Но пока в эл. варианте в сети нет да и написана женщиной, не к добру это

P.S. совсем забыл, моя любимая по бутстрепу и R книга: Comparing Groups: Randomization and Bootstrap Methods Using R, http://www.amazon.com/Comparing-Groups-Ran..._pr_product_top написана очень простым и понятным языком, упор делается на практическое применение бутстрепа, а не во вникание в математические тонкости, книга написана с "самого начала" - если человек в R и bootstrap плавает, то после прочтения книги начинает уверенно грести Такую книгу просто перевести на русский - это уже пол-царства ) Есть в сети, если не найдете - сброшу, может Вам понравится и что-то возьмете из нее.

Мне представляется недостатком, что число перевыборок Вы просто принимаете равным 5000 или 10000. Это должно каждый раз доказываться сходимостью (с соответствующей оценкой точности полученного результата).

Джентльмены! Не могу в литературе найти подсказки относительно вот какого момента:

пусть исходная выборка выглядит так: 1,01; 2,02; 3,03. Дробную часть пишу для того, чтобы подчеркнуть, что выборка извлечена из абсолютно непрерывного распределения.
Размноженные выборки вполне могут иметь такой вид: (1,01; 2,02;2,02); (2,02; 3,03; 3,03) и т.д.

В исходном распределении повторов ("связок") не было ( в непрерывном распределении вероятность совпадений = 0).

Означает ли это, что при бутстрапировании у нас поменялся закон распределения случ. вел-ны, и полученные рез-ты (н-р, бутстраповские квантили для среднего) не имеют отношения к первоначальной задаче?

Не сочтите за оффтоп, просто нет смысла создавать новую тему.

Большущее спасибо за наводку. Скачал. Действительно, прекрасная книга.
А остальные три книги Гуда из этой серии у меня есть. Но Вы меня успокоили, что четвертую искать не стоит.

Замечание важное. На стр. 27 я пишу об эмпирических соотношениях, полученных Эджингтоном, что уже при числе перевыборок около 1000 разумная точность в 3 знаке тестируемой статистики почти гарантируется.
Но какова технология проверить Эджингтона? Что является критерием достаточности итераций?
Скажем так. Принимаем за критерий постоянство значений смещения (bias). Задаемся числом итераций В, например, 100, 200, 500, 1000, 2500, 5000, 10000. Для каждого В выполняем, например, по 10 повторностей (каждая процедура бутстрепа возвращает несколько иные результаты). На каждом шаге выполняем проверку гипотезы о равенстве среднего смещения относительно полученного на предыдущем шаге.
Но где гарантия того, что гипотеза не отклонится уже при В=100? Но будет отклоняться при В=1000. Кто гарантирует монотонность сходимости процесса? Есть ли где-нибудь программные продукты (скрипты)?

И еще. Мне уважаемые TheThing и nokh обещали показать теоретически выдержанное словесное определение доверительного интервала. Напомню, что я изложил это, как
" .... в параметрическом пространстве выделяются границы области возможных значений оценок, соответствующие заданной вероятности. Доверительный интервал ? статистический показатель, позволяющий оценить с надежностью гамма, в каких пределах может находиться истинное значение параметра в популяции." Согласен, коряво. Во-первых, не отражено то, что этот интервал считается случайным, поскольку он основан исключительно на выборке (а вот и нет!!! еще и на предположениях о законе распределения генеральной совокупности!!!).
Во-вторых, не отражено, что истинное значение параметра неслучайно, т.е. константа. Боровков (стр. 254) считает, что говорить "может находиться" менее аккуратно для неслучайной величины, чем "накрыл" эту неслучайную величину. Все это - так себе казуистика: если нам не известны ни закон распределения генеральной совокупности, ни способ вычисления этого истинного параметра, то суждение, что он - неслучаен, нам ничего, кроме отвлеченных раздумий не дает. Какая нам разница, параметр - случайная или неслучайная химера?.
Но это все треп. Как бы то не было, толковое определение нужно.

К сожалению не смог вспомнить ( а следовательно и найти) источник, который повлиял на меня, заставив занять столь жёсткую позицию на определение ДИ. Полазил по имеющимся словарям-справочникам и существенно смягчил её. Видимо сказывается ещё советская шкала, требовавшая чёткого определения чего-бы то ни было. А в уважаемых англоязычных источниках чего только не насмотрелся. Выслал Вам 2 источника, которые мне нравятся и откуда можно скопиллировать хорошие определения. Свои лекции тоже буду подправлять...

скрипт не представляет проблемы

допустим надо оценить какой то параметр (в данном случае "нижнюю" границу 95% доверительного интервала)




Это просто нереально отредактировать с этим ява скриптовым редактором который лезет заменять все табами (

по моему Вы слишком оптимистичны о скорости схождения. Что бы получить в данной простой схеме бутстрепа 3 значащих цифры понадобится существенно больше 100000 перевыборок.

вот для c(5000,10000,20000,40000,80000)

... и для c(80000,160000,320000,640000,1200000)

PS вот можно и напрямую разности между результатами посчитать

Тре бьен , т.е. очень хорошо и воспитательно. Картинки красивые, изменчивость (хотя и статистически незначимая) налицо. Но вот как насчет конечной цели - автоматического итеративного процесса подбора оптимального числа бутстреп-повторностей? И самое главное - каковы формальные правила останова или движения дальше. И чтоб на все случаи жизни... Мне-то не влом - машина железная и пусть пашет (пошел покурить - 1000000 настукало, в парке с пивком прогулялся - еще 10000000). Но а все-таки, как оценить, сколько вешать в граммах?

1. Точность она а) абсолютная и б) относительная

Абсолютная считается в PS предыдущего поста, относительная --- делим измеренную абсолютную точность на величину критерия который мы пытаемся находить.

2. Достаточность точности выбирает исследователь. в практически реализованных процедурах выбранная им точность служит критерием останова (ну и еще ограничитель числа итераций ставят).

в бутстрепе не существует какого либо критерия с "перегибом", в области которого оптимальная точность. Чем дольше считаешь тем точнее результат

Безусловно процесс вероятностный, можно поэтому по дисперсии абсолютной ошибки накапливать уверенность в результате (одиночная ошибка с вероятностью 0.001 может выскочить за некую границу сверху). Ну еще один тогда параметр в процесс останова --- вероятность что точность заданная на самом деле превышается в одиночном численном эксперименте с достигнутыми на момент останова параметрами перевыборки.

3. По поводу статистической незначимости. Вы видите всё распределение целой серии попыток определить перевыборкой некий критерий, но исследователь получает одну реализацию. Следующая реализация получается очень даже отличная от предыдущей. Кроме того, даже на глаз дисперсия более чем достоверно (в масштаб даже не лезет ) меняется. ошибка (обратная величина точности) в данном случае это дисперсия серии бутстрепов. (на в PS предыдущего поста вполне себе мера ее померять).

В книге на стр. 29 написано критерий Стьюдента-Крамера-Уэлча. Прошу авторов разъяснить, откуда взято это название критерия. О чем идет речь? В доступной мне статистической литературе я не нашел такого названия, кроме опусов профессора Орлова. Но когда я зашел на форум к Орлову и задал вопрос, то не только не получил внятного ответа, но мои вопросы и сообщения были удалены без всякого объяснения. Похоже, он это придумал и это его вклад в современную статистику. Более того, Орлов пишет, что этот критерий является непараметрическим. Поэтому я задаю вопрос вроде бы как нормальным авторам: откуда? Откуда дровишки? Ссылаясь на Орлова, авторы также вносят вклад в современную статистику. Если вы помните, ложкой дегтя можно испортить бочку меда. Советую исключить из списка литературы опусы Орлова. Хотя если авторы профессора и Орлов профессор, то как говорится ...

А что, популяция тракторов, результатов химического анализа, профессоров статистики и экологии, звучит. Или популяция ненужных книг? Популяция Орловых - вот насколько она велика?

Предположим, у нас имеется генеральная совокупность, тьфу ты, популяция Орловых. И мы у них измерили некий показатель скажем хамства. Обозначим этот показатель ОХ. И у нас этих Охов скажем 10 000. Находим центр распределения (нормальное распределение), дисперсию популяции. Потом извлекаем случайно выборку. И подвергаем этих ОХов бутстрепу. Оцениваем генеральную среднюю, строим доверительный интервал. Так вот, если это повторить 5000 раз, в скольких процентах доверительный интервал накроет популяционную среднюю? Каков процент правильных интервалов? А если эти орловы распределены не по нормальному закону? Тогда? Если можно, приведите конкретные исследования ваши или дайте ссылки. Лучше ссылки.

Manly B. F. J. Randomization, bootstrap and Monte Carlo methods in biology.
Обращаюсь к авторам. Вы упоминаете эту книгу. Подскажите, где ее скачать или если у вас есть, поделитесь.
Может, просто перевести на русский язык эту книгу? И всего делов-то.

ПРОБЛЕМЫ ЭКОЛОГИЧЕСКОГО ЭКСПЕРИМЕНТА
(ПЛАНИРОВАНИЕ И АНАЛИЗ НАБЛЮДЕНИЙ)
Под редакцией чл.-корр. РАН Г.С. Розенберга
и д.б.н. Д.Б. Гелашвили
Если это ваша книга, так у меня вопрос по этой книге. В главе 3.2. Шитиков В.К., Розенберг Г.С., Крамаренко С.С., Якимов В.Н. Современные
подходы к статистическому анализу экспериментальных данных на стр. 225 приводится мера воздействия как разность средних отнесенная к стандартному отклонению этой разности. Дальше приводится дисперсия этой величины. А как распределена эта величина и как вы получили формулу для дисперсии этой величины? Было бы весьма любопытно узнать как.
http://www.ievbras.ru/ecostat/Kiril/Download/Mepe.pdf По этой ссылке я скачал книгу.

Глубокоуважаемый Pifagor. Вы, кажется, чем-то раздосадованы? Мы в чем-то виноваты?
Но попробую ответить на конкретику.
1. Я набрал в Гугле "критерий Стьюдента-Крамера-Уэлча" - вывалилось несколько десятков ссылок. Правда говорят о критерии Стьюдента и его модификации - критерии Крамера-Уэлча. Но назвать всех их семейством критериев Стьюдента-Крамера-Уэлча - не есть криминал.
2. Относительно устойчивости бутстреп-процедур при негауссовом характере распределения выборки вроде много рассуждается и Эфроном и другими авторами (да и нами, в том числе на наших примерах). Если у Вас есть подходящая выборка - давайте попробуем поэкспериментировать.
3. Относительно книжки Манли - нашел только полуслепой скан весом около 200 Мб и только 1-го издания 90-х годов. Мы взяли из этой книжки только последовательность изложения (рубрикатор глав) и очень небольшие куски изложения. Почему просто не перевели?
Во-первых, там у него американские примеры, которые трудно повторно просчитать. Нам показалось интересным и полезным выполнить все расчеты самим и на собственных примерах (точнее, на информации, предоставленной нам нашими друзьями - биологами и экологами).
Во-вторых, изложение Манли вращается вокруг десятка фортрановских программ, которые он сам и сочинил. Я на Фортране уже не пишу лет 20. Поэтому мы вначале показали ресамплинг на двух простеньких программах (Ховелла и Ядвисчака), а потом все подряд стали просчитывать в статистической среде R (тем более, что программы Манли в многомерных случаях стали глючить). Так что наша книжка - еще и самоучитель по R-кодам.
В-третих, в англоязычной литературе иногда рассказывается о тех же вещах подробнее и интереснее, чем у Манли. Это просто потеряется при переводе. Как и те вещи, о которых Манли вообще не упоминает.
4. К сожалению, раздел по мета-анализу в упоминаемой Вами книги по большей части (и Ваша цитата, в частности) - голый перевод финской методички Sinha et al., 2006 (на нее трижды идет ссылка по тексту). Сам я никогда мета-анализом практически не занимался, каюсь. Но является ли криминалом попытка донести прочитанное до читателей в виде литературного обзора?
5. Не думаю также, что упоминание Орлова и его работ является криминалом. Можно по разному к нему относиться, как к ученому или человеку, но у него я впервые увидел в табличной форме список разъясняемых статистических терминов. Хорошо, правда, его устаканить, приблизить к грешной земле и узаконить.

1. Если можно, дайте ссылку, откуда скачать Манли. Очень прошу. Или поделитесь, если конечно не жалко.
2. Если можно, укажите распределение величины эффекта, какое же распределение этой величины. Я имею в виду вашу книгу, стр. 225. Эффект измеряется отношением разности средних к ст.отклонению разности. Книга гл.3 Современные подходы к статистическому анализу данных. Вы ушли от ответа. Или это не ваша книга?
3. Критерия Крамера-Уэлча (еще приплюсовали сюда и Стьюдента) нет. Крамер и Уэлч не имеют к этому отношения. Крамер в своей книге вообще не упоминает даже этот критерий.
Именно на эту книгу ссылается Орлов. Поймите, не надо заниматься профанацией прикладной статистики. Или вы используете традиционные критерии или предлагаете свой. В этом нет криминала. Но свой- давайте ему название, укажите как им пользоваться, таблицы и т.п. Но причем здесь Крамер? Это вызывает удивление. И причем здесь Уэлч? И почему этот критерий как пишет Орлов непараметрический? Где аргументы?
Назовите критерий - критерий Крамера-Уэлча-Фишера-Стьюдента-Саттарвайта-Рао. Орлов здесь примазывается к классикам. Ставит себя в этот ряд. Этот ряд можно продолжить. Добавить Вейра, Тьюки, Шеффе обязательно. Вот это будет критерий. Нужна элементарная добросовестность. А не использовать имена классиков в роли бренда. Элементарно, Ватсон. Вы или не понимаете или ваньку валяете.
Но- черт с ним, с этим Орловым. Орловых много.
Еще раз пожалуйста, книгу Манли. И распределение на стр. 225. Очень нужно для работы.
А так все ничего. Желаю удачи.

Любой термин - "штамп межчеловеческого ожидания со сложно-переменным значением". Т.е. выборочная оценка истинного параметра. И, как английский суд, основана на прецедентах.
За "Крамера-Уэлча" говорят, например:
http://www.machinelearning.ru/wiki/index.p...терий_Стьюдента
http://matstats.ru/kramer.html
Против - хотя бы дискуссия на нашем форуме:
http://forum.disser.ru/index.php?showtopic=2550&st=0
Мне, честно говоря, не кажется, что проблема точности в статистике сводится только к тому, следует ли упоминать Крамера среди творцов приближенных формул для решения проблемы Беренса-Фишера или ограничиться Уэлчем и Сатервайтом.
Столь же туманна и малозначима для меня лейбла "параметрический или непараметрический критерий" (то ли в числе предположений его использования есть требование соответствия данных какому-либо теоретическому распределению, то ли при оценке р-значения он на оное распределение опирается). Тот же Х2-критерий одни называют параметрическим, а другие - нет. Единственным индикатором здесь является сущность процедуры тестирования.
Но я с готовностью удалю из своей книги бедолагу Крамера, коль скоро он Вам не пришелся по душе (тем более, что я этот критерий вообще в книге не использовал).

Относительно мета-анализа прикрепляю файл, перевод которого явился основой для упоминаемого Вами раздела. Там в свою очередь есть ссылки, которые могут Вам помочь.

Как я уже упоминал, скан книжки Манли весит 200 Мегабайт. Порекомендуйте любимый файлообменник и свяжитесь со мной по электронной почте (есть причины не выкладывать ее в открытый доступ).

В упомянутых вами ссылках неправильно используют название критерия, но хоть правильно пишут, как им пользоваться. А Орлов ни то, ни другое.
Крамер не бедолага, он крупный статистик, но просто не имеет отношения к вопросу.
А решений проблемы Беренса-Фишера в смысле приближенных много. Одно из них- процедура Вэлча. Есть работы, в которых авторы методом Монте-Карло показали сильную устойчивость процедуры Вэлча как к неравенству дисперсий, так и к ненормальности распределения. Вот и все дела.

Я не применял бутстреп. Я мало знаком с примерами его использования. Но я тем не менее выскажу свое мнение о вашей книге.

1) Ваша книга абсолютно нужна. Не вижу доступной литературы по бутстрепу и Монте-Карло для биологов на русском языке. Может она и есть, но как-то я не вижу.
Поэтому, ваша книга уверен будет востребована.
2) Позвольте профану высказать пожелания. Побольше примеров конкретных данных и сравнить классические методы и тот же бутстреп. Они есть в вашей книге. Но-больше. Пусть книга вырастет в объеме. Зато таких дубарей, как я, а нас много, убеждают примеры. Буквально брать примеры из Лакина, Урбаха, Гланца и - сравнение. Учебников много.
3) Примеры из биологии и медицины? Экологии? Плохое название для книги. Просто- использование таких-то методов в биологии, медицине и экологии.
4) Книга пишется хорошим языком.
5) Примеры типа Куйбышевское водохранилище? Я вас призываю писать учебное пособие по бутстрепу для биологов, медиков, экологов. Шире примеры. Опять больше примеров.
6) Список литературы с указанием сайтов - это современно и хорошо.

7) Что касается переводов зарубежных книг. Оно бы и надо, и вас стимулировала-бы конкуренция, но думаю, придется долго ждать. Даже в советские годы зарубежные книги выходили через несколько лет после их издания. Дорога ложка к обеду.
Так что желаю успеха (а успех будет, уверяю вас) и дописывайте остальные главы. Нужно. Молодежь и не только молодежь скажет спасибо. Тираж надо тысяч 10000. Или даже больше.
Вот такое мнение профана.

Во-первых, у нас - принцип: работать только со своими примерами и примерами своих друзей. А Вы - попробуйте пример из Гланца самостоятельно.
Во-вторых, мы окончательно обжились в R. Список скриптов в приложении растет, так что можно книгу позиционировать, как учебник по R для начинающих (коими мы сами и являемся).

Наконец, по ссылке
http://www.ievbras.ru/ecostat/Kiril/Article/A32/Stare.htm
можно всегда скачать свежую версию книги.
Кстати, в последний раз был добавлен новый раздел 2.3. про таблицы сопряженности, которые столь любимы в медицине (и которые малознакомы нам).
Ждем разносов, полезных и разных.

"Критерий Крамера" мы убрали. Похоже, что чистка статистических рядов от "упоминающих всуе Крамера, применяющих термин достоверность или говорящих нулевая гипотеза верна" - основная забота российской статистики.
Теперь очередь за Валлисом. И за отрицательностью лямбды Гудмэна

значит упоминать критерий Крамера при анализе таблиц сопряженности не стоит

в статье мед.журнала была фраза: Атрибутивное значение многофакторной модели определяли по критерию Найджелкерка с вычислением величины R2(в квадрате). вопрос: величина R2 (без уточнения используемого критерия) -это коэффициент детерминации (стр. 64 Вашей книги)

pifagor имел в виду модификацию формулы параметрического критерия Стьюдента для оценки равенства средних двух выборок. которую выполнил Уэлч (Welch), чтобы применять ее для неравных дисперсий и объемов .
Это, вероятно, не относится к формуле Крамера для коэффициент связи в таблицах сопряженности (т.е. попытки нормировать ХиХи-статистику).
Даже pifagor сказал, что он - достойный дядька и ото всюду его изгонять нельзя.

Мы использовали при подборе моделей приведенный коэффициент детерминации (Adjusted R2), рассчитываемый по формулам средних квадратов.
Nagelkerke (1991) обобщил формулу для расчета коэффициента детерминации, используя оценки максимального правдоподобия ( она приведена, например, в http://en.wikipedia.org/wiki/Coefficient_of_determination )

Проф. Орлов иногда называет себя учеником Крамера, иногда учеником Боровкова (автор учебника), иногда учеником Большева (таблицы по математической статистике). На меньшее он не согласен. Только такие учителя и не иначе. Всех остальных он считает невеждами и плагиаторами. Так, например, он называет Кобзаря, автора полезного справочника по статистическим методам. Причина же, по-моему, кроется в том, что Кобзарь в своем обширном списке литературы, увы, не упоминает опусы Орлова. Амбиции, все амбиции. Обиды живых классиков.