Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

> Zero-truncated Poisson regression
ИНО
сообщение 6.11.2022 - 08:07
Сообщение #1





Группа: Пользователи
Сообщений: 290
Регистрация: 1.06.2022
Из: Донецк
Пользователь №: 39632



Широко используется буржуями для предсказания счетной зависимой переменной, если она в силу дизайна эксперимента не может принимать нулевое значение (ну, например количество прыщей посчитали только на тех больных, которые обратились с жалобами на прыщи). Интерпретация параметров таких моделей заковыриста: https://stats.stackexchange.com/questions/4...ts?noredirect=1

Вопрос: а почему с аналогичной целью нельзя применить обычную регрессию Пуассона, просто предварительно вычтя из всех значений зависимой переменной единицу? Пусть такая модель предсказывает не общее количество счетных единиц, а количество единиц, добавленных к одной обязательно имеющейся. Потом, если надо, добавляем к предсказанной величине единичку, и дело в шляпе! Но, судя по тому, как извращается народ именно с Zero-truncated Poisson regression, и ищет ее программные реализации, очевидно, предложенный мною альтернативный подход неправомерен. Но сколько я не ломал голову, так и не понял, почему. Прошу более головастых подсказать.

И вдогонку еще один маленький вопросик: а как сабж будет грамотно обозвать по-русски? Регрессия Пуассона с усеченным нулем?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
 
Открыть тему
Ответов
ИНО
сообщение 23.11.2022 - 17:36
Сообщение #2





Группа: Пользователи
Сообщений: 290
Регистрация: 1.06.2022
Из: Донецк
Пользователь №: 39632



За отсутствием альтернативных предложений решил попробовать ответить на последний поставленный мною вопрос самостоятельно, а именно при помощи моего оригинального метода, предложенного здесь: http://forum.disser.ru/index.php?showtopic...ost&p=27378

Теорема имени меня smile.gif : чем ближе распределение p-значений какого-либо статистического критерия при справедливости нулевой гипотезы к равномерному, тем ближе номинальный уровень значbмости к реальному. При этом смещение моды распределения влево от значения 0,5 сигнализирует о завышенной ошибке первого рода, а вправо - о завышенной ошибке второго рода. Доказывает (или опровергает) пусть $100 - у него голова большая он шибко умный smile.gif

Исследуем при помощи предложенного метода три вышеупомянутые модели:

Код
pr1<-rep(1, 50)
pr2<-rep(2, 50)
pr<-as.factor(c(pr1, pr2))

TestPoisReg2<-function(pr)
{
resp1<-rpospois(50, 1)
resp2<-rpospois(50, 1)
resp<-c(resp1, resp2)
df<-data.frame(pr, resp)
df$modresp<-df$resp-1
mod1<-glm(modresp~pr, data=df, family="poisson")
prediction1<-predict(mod1, type="response")+1
p1<-coef(summary(mod1))[2,4]
mod2<-vglm(resp~pr, data=df, family="pospoisson")
p2<-coef(summary(mod2))[2,4]
mod3<-glm(resp~pr, data=df, family="poisson")
p3<-coef(summary(mod3))[2,4]
return(c(p1, p2, p3))
}
x<-replicate(1000,  TestPoisReg2(pr=pr))
p1<-x[1,]
p2<-x[2,]
p3<-x[3,]

hist(p1)
abline(v=0.5, col="red")

hist(p2)
abline(v=0.5, col="red")

hist(p3)
abline(v=0.5, col="red")


Ожидаемо у модели ?3 (обычный Пуассон) с достигаемым уровнем значимости для эффекта предиктора все плохо - он сильно завышен. В этот раз, когда предиктор является мусорным, оно даже хорошо, однако и для по-настоящему влиятельного предиктора он тоже будет завышен, что уже совсем нехорошо. Так что использовать обычную регрессию Пуассона для данных с отсутствующими нулями с целью оценки влияния независимых переменных однозначно недопустимо (хотя с задачей прогноза в такой ситуации она вполне справляется, что весьма странно, но все результаты моделирования покамест говорят именно об этом). А вот с моделями ?1 (моя шифтонутая) и ?2 (ZTP) все не так однозначно: в зависимости от n и лямбда, задаваемых генератору, распределение p красивее то у одной, то у другой из них, но разница всегда небольшая. В случае, представленном на прикрепленных гистограммах лидирует расово правильная усеченная модель, а моя дает малость заниженное p, но в некоторых иных, мною смоделированных, напротив, моя модель имеет почти идеальное распределение, а расово правильная демонстрирует признаки небольшого завышения. Может поэкспериментировать самостоятельно.

Сообщение отредактировал ИНО - 23.11.2022 - 17:52
Эскизы прикрепленных изображений
Прикрепленное изображение
Прикрепленное изображение
Прикрепленное изображение
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 23.11.2022 - 18:23
Сообщение #3





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Поциент скоро без упоминания меня и в сортире управиться толком не сможет.
Пока же своими словесными фекалиями он предпочитает загаживать форум.
Але, трехбуквенный, совсем сбрендил?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Сообщений в этой теме
- ИНО   Zero-truncated Poisson regression   6.11.2022 - 08:07
- - Диагностик   Цитата(ИНО @ 6.11.2022 - 13:07) как ...   6.11.2022 - 10:40
- - Игорь   По регрессии Пуассона есть хорошая книга. Свободно...   6.11.2022 - 16:55
- - Игорь   Для Пуассона с нулевым усечением можно построить а...   6.11.2022 - 16:59
|- - ИНО   Сложность в том, что, вероятно, этот подход неправ...   6.11.2022 - 23:47
|- - Диагностик   Цитата(ИНО @ 7.11.2022 - 04:47) важн...   7.11.2022 - 00:50
- - ИНО   Это как бы самоочевидно, что усеченный ноль находи...   7.11.2022 - 01:41
- - Диагностик   Я отвечал на вопрос. Цитата(ИНО @ 6.11.2022 ...   7.11.2022 - 11:00
- - ИНО   Ну и? Каким образом данная Вами цитата о том, что ...   7.11.2022 - 11:04
- - Диагностик   Усеченное до нуля распределение означает что нуль ...   7.11.2022 - 13:17
- - ИНО   Спасибо, кэп!   8.11.2022 - 06:29
- - Диагностик   Чем богат.   8.11.2022 - 15:17
- - Игорь   Хотелось бы высказаться не в ответ, но по теме. У ...   9.11.2022 - 16:49
|- - ИНО   Цитата(Игорь @ 9.11.2022 - 16:49) У ...   9.11.2022 - 17:50
- - Игорь   Как-то в библиотеке заказал редкую статью, типа го...   10.11.2022 - 06:34
- - ИНО   Печальный у Вас жизненный опыт, но не стоит обобща...   10.11.2022 - 07:31
- - 100$   Цитата(ИНО @ 6.11.2022 - 08:07) Вопр...   12.11.2022 - 18:04
- - ИНО   Благодарю за первый ответ качественный по существу...   13.11.2022 - 09:55
|- - 100$   Цитата(ИНО @ 13.11.2022 - 09:55) ......   13.11.2022 - 15:27
- - ИНО   Цитата(типа "зуб даю, этот чувак болен прыщам...   14.11.2022 - 00:52
|- - 100$   Цитата(ИНО @ 14.11.2022 - 00:52) Ту ...   14.11.2022 - 01:55
- - ИНО   Что-то я Вас с каждым постом все меньше понимаю. З...   14.11.2022 - 10:06
|- - 100$   Цитата(ИНО @ 14.11.2022 - 10:06) Что...   14.11.2022 - 12:50
- - ИНО   Что такое "школьная математика" я не в к...   15.11.2022 - 09:07
|- - 100$   Цитата(ИНО @ 15.11.2022 - 09:07) Та ...   15.11.2022 - 12:44
|- - ИНО   Как обычно, я попробовал развеять теоретический су...   18.11.2022 - 09:57
- - Диагностик   Цитата(ИНО @ 18.11.2022 - 14:57) при...   18.11.2022 - 11:15
- - ИНО   Параметр распределения Пуассона. В моем случае име...   18.11.2022 - 11:35
|- - Диагностик   Цитата(ИНО @ 18.11.2022 - 16:35) Пар...   18.11.2022 - 13:25
- - 100$   Наконец-то наш естествоиспытатель сам признался, ч...   18.11.2022 - 16:07
- - comisora   2 ИНО У меня не хватает компетенции ответить на В...   18.11.2022 - 21:57
- - comisora   2 ИНО Ещё немного материала. "In this chapt...   19.11.2022 - 13:58
- - ИНО   100$, я уже видел Ваши 100500 теоретических а...   19.11.2022 - 14:43
- - ИНО   comisоra, в очередной раз спасибо за полезные ссыл...   19.11.2022 - 16:33
|- - Диагностик   Цитата(ИНО @ 19.11.2022 - 21:33) мож...   20.11.2022 - 10:33
- - ИНО   Друг с другом.   20.11.2022 - 10:54
|- - Диагностик   И какая из них считается правильной?   20.11.2022 - 11:27
- - ИНО   Этот вопрос лучше адресовать $100, поскольку ...   20.11.2022 - 12:07
|- - comisora   Цитата(ИНО @ 20.11.2022 - 12:07) Неп...   20.11.2022 - 12:47
|- - ИНО   Цитата(comisora @ 20.11.2022 - 12:47...   20.11.2022 - 18:36
|- - comisora   Цитата(ИНО @ 20.11.2022 - 18:36) Цел...   20.11.2022 - 22:21
- - 100$   Я на том стою, что базовое распределение Пуассона,...   20.11.2022 - 13:41
- - ИНО   100$, а как по-вашему получается этот "п...   20.11.2022 - 14:03
|- - 100$   Цитата(ИНО @ 20.11.2022 - 14:03) 100...   20.11.2022 - 15:19
- - ИНО   Слышал, что люди применительно к уровню знаний о к...   20.11.2022 - 17:59
- - 100$   А что не так с CWTest()'ом? Там, вроде бы, пер...   20.11.2022 - 21:55
- - ИНО   100$, А Вы тему просмотрите (благо тут из све...   20.11.2022 - 22:29
|- - comisora   Цитата(ИНО @ 20.11.2022 - 22:29) com...   20.11.2022 - 23:53
||- - ИНО   Цитата(comisora @ 20.11.2022 - 23:53...   21.11.2022 - 10:42
||- - Диагностик   Цитата(ИНО @ 21.11.2022 - 15:42) я и...   21.11.2022 - 11:29
|- - 100$   Цитата(ИНО @ 20.11.2022 - 22:29) 100...   21.11.2022 - 00:15
- - ИНО   100$, с каждым новым постом Вы все менее похо...   21.11.2022 - 10:18
- - ИНО   Для любого в интервале от 0,001 до 2 (на больших н...   21.11.2022 - 12:00
|- - Диагностик   Цитата(ИНО @ 21.11.2022 - 17:00) Для...   24.11.2022 - 10:35
- - ИНО   Итак, переходим к собственно регрессии. Пока что п...   21.11.2022 - 16:35
- - ИНО   А вот в p разница существенная: Кодpr1<-rep...   21.11.2022 - 18:27
- - ИНО   За отсутствием альтернативных предложений решил по...   23.11.2022 - 17:36
|- - 100$   Поциент скоро без упоминания меня и в сортире упра...   23.11.2022 - 18:23
- - ИНО   Лучше работать над проблемой, пусть даже не всегда...   23.11.2022 - 20:26
- - Игорь   Врачи-аспиранты, для которых создан форум, ознаком...   24.11.2022 - 07:41
- - ИНО   Диагностик, при других лямбдах разница будет замет...   24.11.2022 - 11:55
|- - Диагностик   Цитата(ИНО @ 24.11.2022 - 16:55) Обс...   24.11.2022 - 12:20
|- - Диагностик   Цитата(ИНО @ 24.11.2022 - 16:55) Иго...   25.11.2022 - 06:38
||- - ИНО   Остановиться в развитии - весьма плохое предложени...   25.11.2022 - 11:38
|||- - Диагностик   Цитата(ИНО @ 25.11.2022 - 16:38) объ...   25.11.2022 - 12:33
|||- - Диагностик   Цитата(ИНО @ 25.11.2022 - 16:38) Воо...   25.11.2022 - 14:48
|||- - 100$   Цитата(ИНО @ 25.11.2022 - 11:38) Уве...   25.11.2022 - 17:17
|||- - Диагностик   Цитата(ИНО @ 25.11.2022 - 16:38) Моя...   26.11.2022 - 13:40
||- - 100$   Цитата(Диагностик @ 25.11.2022 - 06...   25.11.2022 - 13:35
||- - Диагностик   ЦитатаПрофессор на семинаре замечает, что один из ...   25.11.2022 - 14:06
|||- - 100$   Дык аб том и речь, Диагностик, что, судя по вашим ...   25.11.2022 - 14:31
||- - Диагностик   Цитата(100$ @ 25.11.2022 - 18:3...   25.11.2022 - 14:31
||- - 100$   Цитата(Диагностик @ 25.11.2022 - 14...   25.11.2022 - 14:45
|- - Диагностик   Цитата(ИНО @ 24.11.2022 - 16:55) что...   26.11.2022 - 07:32
- - ИНО   Специально два дня не читал эту тему (хотя видел, ...   27.11.2022 - 16:37
|- - 100$   Цитата(ИНО @ 27.11.2022 - 16:37) Спе...   29.11.2022 - 14:20
- - Диагностик   Топикстартёру мною лично был задан вопрос. Он его ...   30.11.2022 - 10:39
- - 100$   Тут вот еще какая штука выяснилась: на неотрицател...   30.11.2022 - 16:18
- - Диагностик   См. Генераторы дискретно распределенных случайных ...   1.12.2022 - 01:51
|- - Игорь   Цитата(Диагностик @ 1.12.2022 - 02:5...   1.12.2022 - 06:43
- - Игорь   Говорил выше, что библиотека примеров для исследов...   4.12.2022 - 11:06
- - 100$   Я продолжу эту тему поиском ответа на основной воп...   4.12.2022 - 15:46


Добавить ответ в эту темуОткрыть тему