Рандомизация, бутстреп и методы Монте-Карло, Примеры статистического анализа данных по биологии и экологии Опции

[stok1946]

Уважаемые коллеги. К сожалению, у нас нет вопросов на форум (точнее, они, безусловно есть, но не о них речь).

Специалисты насчитывают сотни тысяч изданных книг по мат. статистике. И обычный читатель вряд ли в состоянии одолеть хотя бы 2% из них.
Но мы пошли на риск и начали писать еще одну книгу "Рандомизация, бутстреп и методы Монте-Карло. Примеры статистического анализа данных по биологии и экологии."
Написали три главы и по ряду причин сочли разумным выложить для свободного прочтения ее неполный вариант. Во-первых, время не ждет. Во-вторых, эти три первые главы имеют, в некотором смысле, общедисциплинарный характер и могут быть интересны и биологам, и экономистам, и врачам. Далее будут описаны многомерные методы, а они в значительной мере имеют экологическую специфику. И, наконец, в-третьих, мы с благодарностью примем любые замечания и пожелания (туда ли мы плывем и нужно ли все это).
Часть примеров была подготовлена в статистической среде R (скрипты представлены в приложении). Мы не имеем здесь совсем мало опыта и надеемся на доброжелательную критику специалистов в этой области. Кроме того, "Остапа часто несло" , и в результате некоторые наши обороты могут быть статистически неполиткорректными. Мы надеемся, что закаленные в "терминологических битвах" и умудренные товарищи нас поправят.
А аспирантам по различным биологиям и медицинам новый взгляд на статистические вещи может быть весьма полезен.
А пока не сочтите за труд зайти на
http://www.ievbras.ru/ecostat/Kiril/Article/A32/Stare.htm
и скачать файл "Рандомизация, бутстреп и все, все, все..." в формате Acrobat Reader.

[stok1946]

Большое спасибо TheThing за добрые слова и внимание к нашей скромной работе.
Несколько слов пояснений.
Мы пытались адресовать нашу книжку массовому слою аспирантов - биологам, экологам, медикам. В большинстве случаев у них едва остается время от основной экспериментальной работы, чтобы освоить один какой-нибудь стандартный пакет типа Statistica. Поэтому у них естественна тяга к простеньким модулям, запускаемым через меню ("просчитать и забыть"). И в этом их упрекнуть трудно. И лишь два из десяти аспирантов и будущих научных работников приобретают вкус к "статистической продвинутости" и начинают осваивать язык R, MathLab и проч.
Программа Ховела при всей ее "демонстрационности" все же реализует 13 основных методов одно-двухмерной обработки, необходимость которых на практике наиболее велика (скажем так, это - рамки 70-80% защищаемых диссертаций).
Но зачем им тогда рандомизация и бутстреп, если есть Statistica? Стандартные замечания оппонента к рецензируемой диссертации очень часто сводятся к "каверзным" фразам типа "А как Вы проверяли нормальность распределения показателя или равенство дисперсий в группах" или касаются иных предположений классического анализа. Ответ соискателя "Мы выполняли параллельно расчеты с использованием рандомизационного теста" - прекрасный способ аргументации, призванный убедить самый придирчивый Ученый Совет.
Поэтому мы хотим написать не очередное руководство по использованию среды R, а описать смысл самих методов и представить весь спектр инструментальных средств расчета (от простых программулек для самых занятых до более сложных языковых конструкций для "продвинутых").

Что касается определения доверительных интервалов, то их в литературе довольно много и в целом они все нас устраивают. Мы "не гурманы, а потребители " и нам достаточна его интерпретация, основанная на интуиции: доверительный интервал почти наверняка содержит истинное значение оцениваемого параметра θ, если p достаточно велико (скажем, 0,95 или 0,99).
Единственное, против чего мы - это использовать предложенное Гмурманом словосочетание "покрывает параметр", т.к. опыт работы на станции искусственного осеменения крупного рогатого скота вызывает в нас неординарные ассоциации.

[TheThing]

Что касается определения доверительных интервалов, то их в литературе довольно много и в целом они все нас устраивают. Мы "не гурманы, а потребители " и нам достаточна его интерпретация, основанная на интуиции: доверительный интервал почти наверняка содержит истинное значение оцениваемого параметра θ, если p достаточно велико (скажем, 0,95 или 0,99).
Единственное, против чего мы - это использовать предложенное Гмурманом словосочетание "покрывает параметр", т.к. опыт работы на станции искусственного осеменения крупного рогатого скота вызывает в нас неординарные ассоциации.

По-моему мнению, эта интуитивная интерпретация, которая приведена в Википедии или справочнике по прикладной статистике за 1989 год, не совсем удачно микшует 2 кардинально отличающиеся школы - школу Баеса и школу частотников. В школе Баеса, интервал доверия (credible interval) - это апостериорная вероятность, что некий параметр лежит в определенных диапазонах и она составляет например 0.9. Вот значение 0.9 - ассоциируется с вероятностью, с "почти наверняка". А в школе частотников доверительные интервалы не имеют никакого отношения к вероятностям.

Я очень осторожно отношусь к определениям в Википедии - возьмите тоже определение p-value:

"In statistical significance testing, the p-value is the probability of obtaining a test statistic ..... bla-bla-bla

то есть p-value - это вероятность, а на самом деле это особый вид вероятности, а именно условная вероятность. Разница между вероятностью и условной вероятностью - небо и земля Большинство западных учебников дает неправильное определение из Вики (как обстоит дело с нашими учебниками Вы сами знаете ) и лишь немногие авторитетные источники (в том числе литература по SAS, которая для меня является практически эталоном качества) приводит правильные формулировки. А когда Вики переводится на русский язык, мы на защитах имеем, что р - это "достоверность отличий", р>0.05 - это "нет разницы между средними", p - это ошибка первого рода, р - это вероятность случайно получить наблюдаемые результаты и .т.д

Я понял основное направление книги, с удовольствием читаю в свободную минуту!

Сообщение отредактировал TheThing - 10.08.2012 - 13:38