Рандомизация, бутстреп и методы Монте-Карло, Примеры статистического анализа данных по биологии и экологии Опции

[stok1946]

Уважаемые коллеги. К сожалению, у нас нет вопросов на форум (точнее, они, безусловно есть, но не о них речь).

Специалисты насчитывают сотни тысяч изданных книг по мат. статистике. И обычный читатель вряд ли в состоянии одолеть хотя бы 2% из них.
Но мы пошли на риск и начали писать еще одну книгу "Рандомизация, бутстреп и методы Монте-Карло. Примеры статистического анализа данных по биологии и экологии."
Написали три главы и по ряду причин сочли разумным выложить для свободного прочтения ее неполный вариант. Во-первых, время не ждет. Во-вторых, эти три первые главы имеют, в некотором смысле, общедисциплинарный характер и могут быть интересны и биологам, и экономистам, и врачам. Далее будут описаны многомерные методы, а они в значительной мере имеют экологическую специфику. И, наконец, в-третьих, мы с благодарностью примем любые замечания и пожелания (туда ли мы плывем и нужно ли все это).
Часть примеров была подготовлена в статистической среде R (скрипты представлены в приложении). Мы не имеем здесь совсем мало опыта и надеемся на доброжелательную критику специалистов в этой области. Кроме того, "Остапа часто несло" , и в результате некоторые наши обороты могут быть статистически неполиткорректными. Мы надеемся, что закаленные в "терминологических битвах" и умудренные товарищи нас поправят.
А аспирантам по различным биологиям и медицинам новый взгляд на статистические вещи может быть весьма полезен.
А пока не сочтите за труд зайти на
http://www.ievbras.ru/ecostat/Kiril/Article/A32/Stare.htm
и скачать файл "Рандомизация, бутстреп и все, все, все..." в формате Acrobat Reader.

[stok1946]

Глубокоуважаемый nokh!
Искренне благодарен за Ваш труд сделать столь подробную рецензию. Вынужден признать, что почти все Ваши замечания весьма обоснованы и заставляют задуматься о бренном. Хотя точная взвешенность их применимости в настоящей работе, вероятно, еще придет в ходе тех же раздумий.
А пока ? несколько конкретных ответов на вполне конкретные вещи!
1. Стоит ли в одной книге совмещать многомерные и одномерные методы?
Мы ставили вполне скромные задачи:
 Тем, что не имел понятия о методах ресамплинга, ?на пальцах? разъяснить механизмы их работы в простейших случаях (на уровне рекламного проспекта Мура с соавторами в The Practice of Business Statistics);
 Одновременно для тех, кто этим не удовлетворился, расширить спектр рассуждений о применимости ресамплинга немного дальше, чем это делают картинки Ховела, ? на регрессию, классификацию, ординацию (насколько хватит моих скромных усилий);
 Привлечь внимание (частичное) к использованию среды R, когда готовых инструментов для проведения расчетов не хватает;
 Напомнить о существовании таких прекрасных, но недостаточно обсуждаемых вещей, как кросс-проверка, генетический алгоритм, метод опорных векторов, тест Мантеля, случайный зонд Пиелу, дисперсионный анализ матриц дистанции Андерсона, бутстрепирование деревьев классификации и др.
Образцом для нас явилась книжка Манли ?Рандомизация, бутстреп и методы Монте-Карло в биологии? (к сожалению, удалось найти только отсканированное 1-е издание 90-х годов, а в 3-м издании 2007 г. все много лучше). Как в выпусках Гуда, им обоим удалось все же рассказать обо всем понемногу (хотя, безусловно, и не слишком глубоко).
2. В рамках методов PCA и ординации мы планировали ограничиться описанием алгоритма Pillar V.D. 1999. The bootstrapped ordination reexamined. Journal of Vegetation Science 10: 895-902. и использовать их пакет Multiv (см. стр. 197-199 в нашей книжке ?Макроэкология? - http://www.ievbras.ru/ecostat/Kiril/ ).
3. С определениями доверительного интервала ? тяжело. Они, как правило, никого не удовлетворяют. Вот А.Орлов в ?Эконометрике? попытался дать таблицу терминов. Например, он там пишет: ?Доверительное множество - определяемое по выборке случайное множество в пространстве возможных состояний оцениваемой составляющей?. Зашибись, как понятно!!! Пока у TheThing нашел лишь ?Доверительный интервал описывает некоторую неоднозначность (неопределенность), которая ассоциирована с методом сэмплирования?. Про ?покрытие параметра? я уже писал.
Я ? единственный человек, которому абсолютно здесь все равно. Буду рад любому ?правильному? определению доверительного интервала или бутстрепа, которые появятся здесь у нас в студии. ?Я ? не гурман, я ? программист?. И пусть это останется только между нами, но я внутренне считаю, что ценность даже самых ?теоретически взвешенных? определений ? лишь в глубокомысленных теоретических рассуждениях, спорах и желании ?уесть? оппонента. Сокровенный же смысл любой статистики (критерия или оценки вероятности) с полной определенностью представляем отнюдь не словами, а схемой их расчета по выборочным данным. Уверен, что нельзя сводить прикладную статистику к юриспруденции с ее зацикленностью на точности формулировок и полным произволом их толкования в залах суда.
4. Конечно, программа Ховела ? не эталон (боюсь, что она еще и далеко не всегда верно считает). PAST я люблю и давно пропагандирую, но ее трудно использовать как учебник по бутстрепу. Все же R.
5. Любой автор книг полупопулярного профиля зажат между Сциллой упрощенного примитивизма и Харибдой усложненной тяжеловестости . Будем пробовать выкрутиться.
6. С примерами ? свои большие трудности, т.к. ряды маленькие, наблюдения ведутся непонятно над чем и або как и т.д. Как и во всей биологии, управляемый эксперимент почти полностью отсутствует и вариация объясняющей переменной носит всегда случайный характер (хотя это не повод отказаться напрочь от обычных моделей МНК).
Все же хочется показать расчеты на своих близких и понятных данных, а не на дюнах Джогмана- тер Браака. Кстати, у меня есть только их англоязычная книжка (PDF). Буду очень признателен, если пришлете русскоязычный вариант (лучше на stok1946@gmail.com ). Когда-то мне давали плохо ксерокопированный вариант на два дня. Успел отсканировать только главу по ординации, а что там было написано, расшифровываю и поныне.
А еще ?вот бы найти файл с книжкой Good P. Introduction to Statistics Through Resampling Methods and R/S-Plus (отдам пол-царства по eMail) .
С искренней благодарностью.

[TheThing]

А еще ?вот бы найти файл с книжкой Good P. Introduction to Statistics Through Resampling Methods and R/S-Plus (отдам пол-царства по eMail) .
С искренней благодарностью.

Этой книги в эл. варианте в сети пока нет

А не смотрели вот эту? http://www.amazon.com/Resampling-Methods-P...ampling+methods

Тот же автор, 2005 год, больше положительных отзывов на Амазоне, примеры кода подаются на многих языках, не только R/S, легко читается, есть в сети.

Есть еще "Mathematical Statistics with Resampling and R" http://www.amazon.com/Mathematical-Statist...ampling+methods

Но пока в эл. варианте в сети нет да и написана женщиной, не к добру это

P.S. совсем забыл, моя любимая по бутстрепу и R книга: Comparing Groups: Randomization and Bootstrap Methods Using R, http://www.amazon.com/Comparing-Groups-Ran..._pr_product_top написана очень простым и понятным языком, упор делается на практическое применение бутстрепа, а не во вникание в математические тонкости, книга написана с "самого начала" - если человек в R и bootstrap плавает, то после прочтения книги начинает уверенно грести Такую книгу просто перевести на русский - это уже пол-царства ) Есть в сети, если не найдете - сброшу, может Вам понравится и что-то возьмете из нее.

Сообщение отредактировал TheThing - 13.08.2012 - 21:39

[stok1946]

P.S. совсем забыл, моя любимая по бутстрепу и R книга: Comparing Groups: Randomization and Bootstrap Methods Using R, http://www.amazon.com/Comparing-Groups-Ran..._pr_product_top написана очень простым и понятным языком,

Большущее спасибо за наводку. Скачал. Действительно, прекрасная книга.
А остальные три книги Гуда из этой серии у меня есть. Но Вы меня успокоили, что четвертую искать не стоит.