Здравствуйте, гость ( Вход | Регистрация )
25.05.2022 - 12:45
Сообщение
#1
|
|
|
Группа: Пользователи Сообщений: 30 Регистрация: 7.12.2012 Пользователь №: 24440 |
Салют! Столкнулся с проблемой сравнения двух выборок, в каждой из которых по 3 значения. Это результаты иммуноблоттинга (определение концентрации целевого белка в пробе) очень ценных образцов, полученных от трансгенных животных. Но их - образцов, было всего 3 для каждой из групп (2 группы: интактная и подвергнутая воздействию исследуемого фактора). Покопавшись в литературе, нашёл статьи, где есть такие выборки и авторы как ни в чём не бывало используют t-критерий Стьюдента для сравнения средних. Нашёл статьи, где используют U-критерий Манна-Уитни... Скажем так, в биологии 3 образца - это нормально для публикации, если речь идёт об особо ценном и сложнополучаемом биоматериале (к примеру как у меня, когда животные практически не дают потомства). Т.е. представить эти данные можно и не стыдно. Но вот как сравнить, как показать, что эти выборки отличаются статистически значимо, иными словами, что наш исследуемый фактор значимо повлиял на концентрацию целевого белка?
Почитал ещё о таком методе, как ресамплинг или бутстреп, когда объём выборки искусственно увеличивают. Ну, не знаю насколько это правильно... также не нашёл софт и чёткого понимания как это сделать у меня нет. Работаю в проге Statistica 12 Посоветуйте, как всё же обработать эти данные. Вот пример исходных цифр: Выборка 1: 221,60112 305,217725 295,251684 Выборка 2: 371,3313 397,452722 437,212724 |
|
|
![]() |
![]() |
![]() |
17.06.2022 - 17:12
Сообщение
#2
|
|
|
Группа: Пользователи Сообщений: 290 Регистрация: 1.06.2022 Из: Донецк Пользователь №: 39632 |
Хороший вопрос! Документация пакета boot (сверяя с которым, я и пришел к вышеозначенному заключению относительно типа ДИ в PAST) лаконично отвечает на него следующее: "The formulae on which the calculations are based can be found in Chapter 5 of Davison and Hinkley (1997)."
Ну и библиографическая ссылка в конце: Davison, A.C. and Hinkley, D.V. (1997) Bootstrap Methods and Their Application, Chapter 5.Cambridge University Press. У меня такой книжки нету. Но попадались статьи, в которых некий "basic bootstrap CI" нещадно поносили и хвалили BCa. Особо не вникал (учитывая, что, повторяю, саму глубинную идею бутстрепа так и не смог постичь), просто пользовал по возможности BCa. Скажем так, впал в грех слепого следования авторитетам Немного помоделировал (осбо в это дело не умею, так что, если что не так, тапками не кидайте) Загрузка "бигдаты" ТС (пожалуй, стоит уже в рабочем пространстве сохранить - как ни крути, классический датасет получился, ирисы Фишера отдыхают) Код x<-c(221.60112, 305.217725, 295.251684) y<-c(371.3313, 397.452722, 437.212724) Генерация 10000 пар выборок из нормальных распределений с похожими параметрами, построение 95% ДИ методом Уэлча и проверка, попадает ли в них истинная разница матожиданий: Код diff<-274-402 res<-rep(0, 10000) for (i in 1:10000) { x_sim<-rnorm(3, mean(x), sd(x)) y_sim<-rnorm(3, mean(y), sd(y)) ci<- t.test(x_sim, y_sim)$conf.int if(diff>ci[1]&diff<ci[2]) res[i]<-1 } #Доля попаданий: sum(res)/10000 Вывод: истинный доверительный уровень на смоделированных данных получился чуть выше номинального, но разница не существенна Теперь возьмем выборки, каждую из смеси двух нормальных распределений с одинаковыми мю но разными сигмами. Страшненькая формула генератора получена методом тыка, так чтобы стандартные отклонения все еще оставались похожими на оригинал. Если умеете генерировать смеси с заданной дисперсией, замените на свою элегантную:) Код diff<-274-402 res<-rep(0, 10000) for (i in 1:10000) { x_sim<-c(rnorm(2, mean(x), sd(x)*1/3), rnorm(1, mean(x), sd(x)*2/3*2.5)) y_sim<-c(rnorm(2, mean(y), sd(y)*1/3), rnorm(1, mean(y), sd(y)*2/3*2.5)) ci<- t.test(x_sim, y_sim)$conf.int if(diff>ci[1]&diff<ci[2]) res[i]<-1 } sum(res)/10000 А здесь уже не все так хорошо: метод Уэлча дает примерно 99% интервал вместо желаемого 95%. И туда уже обычно ноль таки попадает! Справится ли BCa лучше? Код library(confintr) diff<-274-402 res<-rep(0, 1000) for (i in 1:1000) { x_sim<-c(rnorm(2, mean(x), sd(x)*1/3), rnorm(1, mean(x), sd(x)*2/3*2.5)) y_sim<-c(rnorm(2, mean(y), sd(y)*1/3), rnorm(1, mean(y), sd(y)*2/3*2.5)) ci<- ci_mean_diff(x_sim, y_sim, type="boot", boot_type="bca")$interval if(diff>ci[1]&diff<ci[2]) res[i]<-1 } sum(res)/1000 Если дождетесь выдачи, сообщите мне. Я не смог, несмотря на то, что урезал количество симуляций до 1000. Можно, конечно, еще и количество псевдовыборок на каждом шаге урезать (параметр R в ci_mean_diff()), но тогда уж совсем как-то неубедительно получится. Философский вопрос: существует ли в мире более медленный язык программирования чем R? P.S. Таки нашел в Шитиков,Розенберг "Рандомизация и бутстреп:статистический анализ в биологии и экологиис использованием R", что что за бэйзик-интевал такой: это тот же процентильный, но перевернутый относительно среднего. Теоретические основы данной процедуры не понял. Но ,в третий раз повторяю: я и основы бутсрепа вообще плохо понимаю. Но судя по тому, как извращаются с этими интервалами, начиная от переворота в случае бэйзика этого, заканчивая расчетом неких параметров смещения и акселерации в случае BCa, с "восстановлением распределения путем замены одних вариант другими" на самом деле все совсем не так просто, как это иногда преподносят. И интуиция тут работает неважно (моя, по крайней мере). Сообщение отредактировал ИНО - 17.06.2022 - 18:01 |
|
|
![]() |
![]() |
18.06.2022 - 01:12
Сообщение
#3
|
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
Вывод: истинный доверительный уровень на смоделированных данных получился чуть выше номинального, но разница не существенна При параметре ф-ции t.test(..., var.equal=TRUE) оценка доверительной вероятности составляет 94,88%, при var.equal=FALSE, да, зашкаливает за 96%. Цитата Справится ли BCa лучше?Если дождетесь выдачи, сообщите мне Эт можно. С параметром R=999 в ci_mean_diff() при общем числе повторностей=1000 мой комп ковырялся 3,5 мин. Разумеется, при параметре по умолчанию R=9999 ковырялся бы на порядок дольше. Я бы тоже не дождался. Мой результат LOW______ UP _____ L________ PROB -147.78218 -114.44736 33.33482 0.77600 где L- длина полученного интервала (она загуливает совершенно диким образом), PROB=sum(res)/1000 - оценка доверительной вероятности. Она находится в диапазоне ,765 - ,778. Не хочется превращать мероприятие в форум для программистов, однако для исходных выборок x и y эмпирическая корреляция равна cor(x,y)=.73041, что, конечно, надо учитывать при моделировании системы случайных величин. Конструкция Код x_sim<-rnorm(3, mean(x), sd(x)) y_sim<-rnorm(3, mean(y), sd(y)) смотрится просто неприлично. Сообщение отредактировал 100$ - 18.06.2022 - 01:30 |
|
|
![]() |
![]() |
Vitek_22 Критерий для анализа сверхмалых выборок 25.05.2022 - 12:45
Игорь В принципе любая непараметрика. Можно посмотреть к... 26.05.2022 - 08:42
salm Цитата(Игорь @ 26.05.2022 - 08:42) В... 24.02.2023 - 13:32
ИНО В указанных критериях объемы выборок, учитывается ... 24.02.2023 - 14:47

salm Цитата(ИНО @ 24.02.2023 - 14:47) В у... 24.02.2023 - 20:55

100$ > Спасибо. А в принципе, такое выражение ... 24.02.2023 - 23:32
Игорь Цитата(salm @ 24.02.2023 - 14:32) Зд... 24.02.2023 - 17:37
salm Цитата(Игорь @ 24.02.2023 - 17:37) Е... 24.02.2023 - 20:47
ИНО Цитата(salm @ 24.02.2023 - 20:47) А ... 25.02.2023 - 05:37
Игорь Удалено автором поста. 1.03.2023 - 10:25
Vitek_22 Игорь, спасибо. А как обосновать использование это... 26.05.2022 - 10:41
100$ Цитата(Vitek_22 @ 26.05.2022 - 10:41... 26.05.2022 - 17:46
Игорь Цитата(Vitek_22 @ 26.05.2022 - 10:41... 31.05.2022 - 07:07
ИНО Вот-только при помощи перестановок Вы никогда не д... 5.06.2022 - 23:55
Игорь Цитата(Vitek_22 @ 25.05.2022 - 13:45... 9.06.2022 - 13:53
100$ Цитата(Игорь @ 9.06.2022 - 13:53) Кр... 9.06.2022 - 16:17
ИНО Цитата(100$ @ 9.06.2022 - 16:17... 9.06.2022 - 23:21
100$ Цитата(ИНО @ 9.06.2022 - 23:21) Поче... 10.06.2022 - 10:08
ИНО Сдается мне, Ваше творение нагло врет, по крайней ... 9.06.2022 - 16:05
Игорь Спасибо коллегам за подробный разбор. Проверил. Сн... 9.06.2022 - 20:08
ИНО ЦитатаГрубо говоря - одно и то же. Исправлять нече... 9.06.2022 - 22:28
Игорь Цитата(ИНО @ 9.06.2022 - 22:28) Одна... 10.06.2022 - 13:15
ИНО Очевидно, сии подделки экселя прозрачно намекают, ... 10.06.2022 - 14:00
ИНО Почитал мануал ПАСТа, относительно "permutati... 11.06.2022 - 15:09
100$ Цитата(ИНО @ 11.06.2022 - 15:09) Пол... 12.06.2022 - 12:43
ИНО ЦитатаА это разовое значение (в смысле, полученное... 13.06.2022 - 19:29
nokh Цитата(Vitek_22 @ 25.05.2022 - 14:45... 17.06.2022 - 07:34
ИНО Цитата(nokh @ 17.06.2022 - 07:34) Мо... 17.06.2022 - 13:17
100$ Цитата(ИНО @ 17.06.2022 - 13:17) ...... 17.06.2022 - 13:26
100$ ЦитатаНе знаю почему уважаемые участники форума не... 17.06.2022 - 12:13
ИНО Ну что поделать, я не умею толком ни программирова... 18.06.2022 - 01:54
comisora Добрый день.
Предлагаю рассмотреть на жизнеспособн... 18.06.2022 - 17:49
ИНО ИМХО бета тут как бы совсем за уши притянута, огра... 18.06.2022 - 18:17
comisora 2ИНО
Ошибки исправил, результат тоже, спасибо.
По... 18.06.2022 - 19:12
100$ >comisora,
а вы можете откомментировать констр... 18.06.2022 - 21:26
comisora 2 100$
Конечно. Это я усложнил код, так как ... 18.06.2022 - 23:53
100$ Цитата(comisora @ 18.06.2022 - 23:53... 19.06.2022 - 00:16
100$ Подведем некоторые промежуточные итоги.
В соответ... 19.06.2022 - 22:20
comisora 2 100$
У меня опыта создания пакетов нет (да... 20.06.2022 - 00:42
ИНО Цитата(100$ @ 19.06.2022 - 22:2... 20.06.2022 - 04:56
100$ "Я проснулся сегодня рано..." (Исполняет... 20.06.2022 - 13:01
ИНО Нет, на той гистограмме - распределение при нулево... 20.06.2022 - 17:10
100$ ЦитатаНет, на той гистограмме - распределение при ... 20.06.2022 - 23:24
ИНО Да все в порядке изначально было с гистограммой ст... 21.06.2022 - 03:31
100$ ЦитатаС этим не спорю. Заметьте, здесь порядок циф... 21.06.2022 - 12:21
ИНО Ну, результаты моделирования как бы намекают, что ... 21.06.2022 - 21:00
100$ Цитата(ИНО @ 21.06.2022 - 21:00) А в... 23.06.2022 - 00:19
comisora Цитата(100$ @ 21.06.2022 - 12:2... 22.06.2022 - 10:42
ИНО Этот ответ справедлив только для критериев рандоми... 23.06.2022 - 04:56
100$ Но, если уж на то пошло, для желаемого соотношения... 23.06.2022 - 11:10
salm Добрый день. пожалуйста, у меня есть парные измер... 12.01.2023 - 11:51
100$ Цитата(salm @ 12.01.2023 - 11:51) До... 12.01.2023 - 13:39
salm Цитата(100$ @ 12.01.2023 - 13:3... 12.01.2023 - 16:09
ИНО Проблема множественных сравнений отнюдь не исчерпы... 1.03.2023 - 12:35
Игорь Удалено автором поста. 1.03.2023 - 20:24
ИНО Пример 1. Почему у Смирнова мощность значительно м... 2.03.2023 - 07:16
Игорь Удалено автором поста. 2.03.2023 - 07:39
ИНО Так-то оно так, вот только для перестраховки приня... 2.03.2023 - 10:06
ИНО Причем тут смежные области? Вопрос лежит сугубо в ... 2.03.2023 - 11:51
Vitek_22 Господа, я что-то совсем позабыл выложить пример. ... 8.08.2025 - 00:33
Игорь Цитата(Vitek_22 @ 8.08.2025 - 01:33)... 8.08.2025 - 07:38
ИНО Если я правильно понял задачу, то получить p<0... 8.08.2025 - 18:26
Vitek_22 тов. Игорь, можете привести эти две выборки по 3 з... 8.08.2025 - 20:53
Игорь Цитата(Vitek_22 @ 8.08.2025 - 21:53)... 9.08.2025 - 10:01
ИНО Признаю свою неправоту. Хотя она не столкьо моя, с... 8.08.2025 - 21:21
Vitek_22 Тов. Игорь, в статье. что я приложил объём выборок... 9.08.2025 - 13:02
Игорь Цитата(Vitek_22 @ 9.08.2025 - 14:02)... 9.08.2025 - 15:58
ИНО Дело не в мощности. Мощность критерия - функция, з... 9.08.2025 - 17:51
ИНО RE: Критерий для анализа сверхмалых выборок 9.08.2025 - 18:24
ИНО Один неприятный технический момент, который можно ... 9.08.2025 - 18:34
Игорь Удалено автором поста. 10.08.2025 - 18:41
ИНО Я выложил распределение статистики. Постройте гист... 11.08.2025 - 12:32
Игорь Удалено автором поста. 11.08.2025 - 19:16
ИНО То есть слово "exact" в выдаче Вы в упор... 11.08.2025 - 20:52
ИНО ЦитатаStudent test (location): two sided p = 0.019... 11.08.2025 - 21:06
Игорь Удалено автором поста. 11.08.2025 - 21:56
ИНО Скачал Руниона этого. Алгоритм, который он предлаг... 11.08.2025 - 22:13
ИНО Цитата(Игорь @ 11.08.2025 - 21:56) У... 11.08.2025 - 22:25
Игорь Удалено автором поста. 12.08.2025 - 13:29
ИНО R правильно считает. StatXact, наверное, тоже счи... 12.08.2025 - 21:52
Игорь Удалено автором поста. 13.08.2025 - 11:44
ИНО Вы неверно считаете двустороннее. Что есть односто... 13.08.2025 - 13:55
Игорь Удалено автором поста. 14.08.2025 - 07:10
ИНО Вот именно двустороннее и неверное, к односторонни... 14.08.2025 - 17:40
Игорь Удалено автором поста 15.08.2025 - 09:21
ИНО Только что совершенно случайно в процессе чтения с... 14.08.2025 - 18:01
ИНО Игорь, полагаю, откуда и как установить R или еще ... 15.08.2025 - 13:48
Игорь Удалено автором поста. 15.08.2025 - 14:31
ИНО Если Вы считаете слово "творения" оскорб... 16.08.2025 - 13:13
Игорь Думаю, что мы немного погорячились. Да и я, винова... 26.08.2025 - 19:58
ИНО Тогда и меня простите. Но это касается исключитель... 26.08.2025 - 23:54
Игорь Цитата(ИНО @ 27.08.2025 - 00:54) Во-... 27.08.2025 - 08:09
ИНО Ну все ж хотелось бы докопаться до истины - какой ... 27.08.2025 - 16:26
Игорь В комментариях исходников coin есть названия источ... 4.09.2025 - 19:12![]() ![]() |