Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

5 страниц V  < 1 2 3 4 5 >  
Добавить ответ в эту темуОткрыть тему
> Вопрос по логистической регрессии
Gewissta
сообщение 18.12.2011 - 21:58
Сообщение #31





Группа: Пользователи
Сообщений: 14
Регистрация: 29.10.2011
Из: Екатеринбург
Пользователь №: 23265



Цитата(100$ @ 18.12.2011 - 22:40) *
Вас понял: кривой Колмогорова-Смирнова в природе не существует. А говорить надо: "статистика типа Колмогорова - Смирнова", поскольку эти два ученых никогда не печатались вместе, не продолжали исследования друг друга, и не изучали один и тот же критерий ни вместе, ни порознь.
Успехов в изучении матчасти!


В скоринге это общепринятый термин.
http://www.plug-n-score.com/learning/kolmo...irnov-curve.htm
а что и как они изучали порознь или вместе со Смирновым или в обнимку с Александровым (к которому у него были нежные чувства) мне неважно
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 18.12.2011 - 22:30
Сообщение #32





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Gewissta @ 18.12.2011 - 21:58) *
В скоринге это общепринятый термин.
http://www.plug-n-score.com/learning/kolmo...irnov-curve.htm
а что и как они изучали порознь или вместе со Смирновым или в обнимку с Александровым (к которому у него были нежные чувства) мне неважно



То есть я вам - медицинский факт, что ни Колмогоров, ни Смирнов никаких кривых Колмогорова-Смирнова отродясь не выдумывали, а вы мне - ссылку на официальный сайт племени мумбо-юмбо, которые русского языка не знают, трудов Колмогорова и Смирнова в глаза не видели. Забавно.
Пишите исчо. Не бросайте меня надолго.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 19.12.2011 - 15:14
Сообщение #33





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(Gewissta @ 18.12.2011 - 22:58) *
В скоринге это общепринятый термин.
http://www.plug-n-score.com/learning/kolmo...irnov-curve.htm

Общепринятый... среди невежд и недоучек.
Цитата(Gewissta @ 18.12.2011 - 22:58) *
а что и как они изучали порознь или вместе со Смирновым или в обнимку с Александровым (к которому у него были нежные чувства) мне неважно

Полагаю, сказав гнусность, Вы намеревались оскорбить людей, которые общаются на данном форуме, и умалить великих. И для тех, и тем более для вторых Ваша личность, к тому скрытая за кличкой, никакого значения не имеет.

Сообщение отредактировал Игорь - 19.12.2011 - 15:14


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Gewissta
сообщение 19.12.2011 - 18:16
Сообщение #34





Группа: Пользователи
Сообщений: 14
Регистрация: 29.10.2011
Из: Екатеринбург
Пользователь №: 23265



Цитата(Игорь @ 19.12.2011 - 15:14) *
Общепринятый... среди невежд и недоучек.

Полагаю, сказав гнусность, Вы намеревались оскорбить людей, которые общаются на данном форуме, и умалить великих. И для тех, и тем более для вторых Ваша личность, к тому скрытая за кличкой, никакого значения не имеет.


это общепринятый термин. на том и стою. гомосексуализм - не преступление и не гнусность. а в те годы жить, не скрывая своей ориентации - вообще подвиг, которым я не перестаю восхищаться. его письма к Александрову по-своему прекрасны. но речь не об этом. для меня статистические критерии - инструмент и не более. у меня есть конкретный вопрос на который нужен конкретный ответ, а не флуд и разговоры ни о чем. и уж тем более не надо тут по поводу ника разводить дискуссии. давайте обсудим еще ваше имя.

p.s. кстати меня Валера зовут

Сообщение отредактировал Gewissta - 19.12.2011 - 18:42
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 19.12.2011 - 21:02
Сообщение #35





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Не обязательно так реагировать на чьи то ошибки.
Опять спор в терминологии, как что называть, но спор то не достойный этого форума, сейчас достаточно в инете форумов, где подобный тон принят. Но тут, не смотря на длительное отсутствие модератора, удается сохранять достойное общение.

ВЕРОЯТНОСТЬ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА. ЭНЦИКЛОПЕДИЯ.- М.: Научное издательство "Большая российская энциклопедия", 1999. Стр. 244-245.
"Колмогорова-Смирнова критерий - (Kolmogorov-Smirnov test) - собирательное название для статистических критериев, статистики которых выражаются через максимальное (минимальное) значение разности между выборочной и теоретической функциями распределения или их оценками".

Нет ничего криминального в том, что по аналогии с таким определением критериев К-С, также можно назвать этими великими именами наших соотечественников и кривую, которая строится по разности между двумя кумулятивными долями распределения. Честь и хвала создателям пакета Plug&Score 2011 австрийской компании Scorto, которые ее так и назвали. Как и другим создателям статистических пакетов и западным и американским, тоже не совсем малограмотным людям, из того же племени, пусть они русского языка не знают, и Колмогорова и Смирного в подлинниках не читали.
Построить эти кривые не сложно и не имея указанной программы. Сохраните рассчитанные вероятности, отсортируйте отдельно для каждой группы, получите кумулятивные доли и постройте график.

Сообщение отредактировал DrgLena - 19.12.2011 - 21:03
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 20.12.2011 - 06:02
Сообщение #36





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(DrgLena @ 19.12.2011 - 21:02) *
ВЕРОЯТНОСТЬ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА. ЭНЦИКЛОПЕДИЯ.- М.: Научное издательство "Большая российская энциклопедия", 1999. Стр. 244-245.
"Колмогорова-Смирнова критерий - (Kolmogorov-Smirnov test) - собирательное название для статистических критериев, статистики которых выражаются через максимальное (минимальное) значение разности между выборочной и теоретической функциями распределения или их оценками".

Нет ничего криминального в том, что по аналогии с таким определением критериев К-С, также можно назвать этими великими именами наших соотечественников и кривую, которая строится по разности между двумя кумулятивными долями распределения. Честь и хвала создателям пакета Plug&Score 2011 австрийской компании Scorto, которые ее так и назвали. Как и другим создателям статистических пакетов и западным и американским, тоже не совсем малограмотным людям, из того же племени, пусть они русского языка не знают, и Колмогорова и Смирного в подлинниках не читали.
Построить эти кривые не сложно и не имея указанной программы. Сохраните рассчитанные вероятности, отсортируйте отдельно для каждой группы, получите кумулятивные доли и постройте график.

Немного расскажу, как пишутся предназначенные для широкого употребления компьютерные программы. Берутся [желательно] известные монографии или учебники с хорошо теоретически обоснованными, проверенными и общепризнанными алгоритмами, программируются, тестируются и отправляются в свободное плавание либо продаются за деньги. Это в общих чертах. Проблема в том, что теоретическая ошибка может быть в монографии, которая базируется обычно на других монографиях, статьях других авторов и немного на собственных исследованиях. Это нормальный научный процесс. Но он не исключает ситуации, которая как раз и показана выше. А именно "... критерий ... - собирательное название ... критериев". Т.е. некто (возможно, лет 50 назад) прочитал подобное же определение и не стал утруждать себя размышлениями, что это за критерии, обозвав все одним и тем же именем. Если кратко, под статистикой Колмогорова понимают разность между теоретической и эмпирической функциями распределения, а под статистикой Смирнова - разность между двумя эмпирическими функциями распределения. Ошибка, казалось бы, невелика, но статистики критериев построены по разному, имеют различные функции распределения. Небольшая ошибка в терминологии, тянущаяся из одной бестолковой статьи, ведет к ошибкам в цитирующих их солидных источниках, программах, к неверным выводам в практических исследованиях.

Термин "статистика типа Колмогорова" применяется в случае, когда рассматривается сложная гипотеза. Это сделано для того, чтобы подчеркнуть, что распределение статистики Колмогорова для простой гипотезы (классическая, исследованная им) и для сложных гипотез различаются. Более того, для сложных гипотез распределения будут различны для различных типов теоретических распределений, что показано профессором Лемешко (не первым хронологически , но первым, кто это сделал в удобном для практического применения численном виде).

Вот, собственно, против чего и борются еще оставшиеся отечественные настоящие ученые (например, профессор, Орлов - как раз критика описанного случая). Криминального, конечно, ничего нет. Есть всего лишь демонстрация невежества. Хотите упорствовать - ради бога, доценту Леонову сгодятся экспонаты для его кунсткамеры. Кстати, в свете грядущих изменений в ВАК в 2012 году у невежд будет гораздо больше проблем, чем сейчас.

Наши уважаемые соотечественники были родоначальниками указанных метрик. Дальнейшие исследования по родственным метрикам в литературе и программах представлены, но не являются темой настоящего обсуждения.

P.S. Горе-изобретателям т.н. критерия "Колмогорова-Смирнова" все-таки пришлось изгаляться, чтобы совсем уж идиотами не прослыть. Это было сделано введением "одновыборочного критерия Колмогорова-Смирнова" и "двухвыборочного критерия Колмогорова-Смирнова", которые соответствуют собственно критерию Колмогорова и критерию Смирнова. Так к чему такие сложности и такое упорство в борьбе с истиной?

Сообщение отредактировал Игорь - 20.12.2011 - 07:05


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 20.12.2011 - 12:46
Сообщение #37





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Игорь, вы изложили известные факты, мы это уже обсуждали на форуме. Ни Колмогоров, ни Смирнов, конечно, не создавали вышеупомянутой кривой, но их именем она названа. Я возразила против тона дискуссии, которая была задана не вами, но активно продолжена. Тон профессора Орлова, который постоянно борется за чистоту рядов отечественной науки, в том числе и с упомянутым вами Лемешко.
Тон Орлова:
?Но тупые невежды - Кобзарь, Лемешко, Шмойлова и иные, охмурив безграмотных издателей, гонят свое фуфло.
А Кобзарь еще и плагиатор (см. первый пост в теме) - обнаружил в своих бумагах начала 90-х - списал у меня и не сослался?.
Кроме отечественной науки, есть еще мировая практика ведения научной дискуссии, где подобный тон недопустим, ошибаться может каждый, но у профессора Орлова кругом враги. А потому, кривая пока так и называется, а может называться и Kolmogorov-Smirnov-Orlov! smile.gif

Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 20.12.2011 - 17:16
Сообщение #38





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата
... а может называться и Kolmogorov-Smirnov-Orlov! smile.gif


А можно и просто имени Ленина smile.gif
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 20.12.2011 - 17:28
Сообщение #39





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(DrgLena @ 20.12.2011 - 13:46) *
Игорь, вы изложили известные факты, мы это уже обсуждали на форуме. Ни Колмогоров, ни Смирнов, конечно, не создавали вышеупомянутой кривой, но их именем она названа. Я возразила против тона дискуссии, которая была задана не вами, но активно продолжена. Тон профессора Орлова, который постоянно борется за чистоту рядов отечественной науки, в том числе и с упомянутым вами Лемешко.
Тон Орлова:
?Но тупые невежды - Кобзарь, Лемешко, Шмойлова и иные, охмурив безграмотных издателей, гонят свое фуфло.
А Кобзарь еще и плагиатор (см. первый пост в теме) - обнаружил в своих бумагах начала 90-х - списал у меня и не сослался?.
Кроме отечественной науки, есть еще мировая практика ведения научной дискуссии, где подобный тон недопустим, ошибаться может каждый, но у профессора Орлова кругом враги. А потому, кривая пока так и называется, а может называться и Kolmogorov-Smirnov-Orlov! smile.gif

Вы полагаете, что в обсуждать сексуальную ориентацию кого бы то ни было в разделе форума по математической статистике допустимо? Считаю, что максимально корректно ответил господину Валере. Обсуждать личные качества остальных уважаемых ученых, пусть даже виновных иногда в резких суждениях, также смысла не вижу. Есть к ним претензии - выскажите лично. Назвать же невежду невеждой - ничего не вижу плохого. Ну не доучился гражданин (хотя бы и заслуживший честь и хвалу иностранец), какие уж тут обиды... Это не врожденный недостаток. Учись, исправляйся, тем более, что профессор Орлов свои книги и статьи предлагает для бесплатной загрузки. Кстати, Колмогоров вполне успешно публиковался на западе (иногда только на западе), так что ссылки на недостаток информации у заслуживших честь и хвалу несостоятельны - обычное невежество.

Сообщение отредактировал Игорь - 20.12.2011 - 19:08


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Gewissta
сообщение 20.12.2011 - 19:08
Сообщение #40





Группа: Пользователи
Сообщений: 14
Регистрация: 29.10.2011
Из: Екатеринбург
Пользователь №: 23265



Цитата(Игорь @ 20.12.2011 - 18:28) *
Вы полагаете, что в обсуждать сексуальную ориентацию кого бы то ни было на форуме по математической статистике допустимо? Считаю, что максимально корректно ответил господину Валере. Обсуждать личные качества остальных уважаемых ученых, пусть даже иногда резких в суждениях, также смысла не вижу. Есть к ним претензии - выскажите лично. Назвать же невежду невеждой - ничего не вижу плохого. Ну не доучился гражданин (хотя бы и заслуживший честь и хвалу иностранец), какие уж тут обиды. Это не врожденный недостаток. Учись, исправляйся, тем более, что профессор Орлов свои книги и статьи предлагает для бесплатной загрузки.


А если сейчас мы каждый статистический показатель будет перетряхивать на то, как правильно его употреблять, формулировать. тот же критерий Стьдента, стьюдентизированные остатки, может, правильнее называть критерий Госсета, госсеттизированные остатки. ведь Стьюдент - это псевдомим, означающий "Студент", под которым он публиковал свои работы. сотни-тысячи книг придется переписывать. да наверно много невежд и недоучек. в Пермском государственном универсистете на факультете социологии нам тоже таких нюансов про Колмогорова и Смирнова не говорили, употребляя статистика Колмогорова-Смирнова, я уж не говорю о многочисленных курсах переквалификации по маркетингу и статистике. дествительно много безграмотности - и уж извините, ситуация в стране (снижение интереса к чтению книг, интерес к развлекухе и некоей популяризации, сегодня разговаривал с 2мя крупнейшими книгоиздателями) не способствует повышению статистической грамотности, надо исправлять, но при этом не нужно и впадать в схоластические споры. все равно в этих показателях, может и сумбурно или некорректно названных, увековечена навсегда память российских ученых.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Gewissta
сообщение 28.12.2011 - 16:27
Сообщение #41





Группа: Пользователи
Сообщений: 14
Регистрация: 29.10.2011
Из: Екатеринбург
Пользователь №: 23265



Добрый день!
Строю в SPSS модель лог регрессии.
Есть историческая выборка, проблема - мало наблюдений по плохим исходам
модель неважно прогнозирует плохих: 93,9% корректных прогнозов по хорошим и 46% корректных прогнозов по плохим
Перевзвесил, привел к пропорции 50/50, чтоб посмотреть, как будет работать модель
модель стала одинаково хорошо прогнозировать плохих и хороших: 76,3% корректных прогнозов по хорошим и 79,8% корректных прогнозов по плохим. по сути поставленное рук-вом требование построить сбансированную (дающую примерно одинаковый процент правильных прогнозов по обоим классам) модель выполнено
но смущает, что резко обвалилась статистика Хосмера-Лемешева с 0.855 до 0.160
терзаюсь вопросом, принимать ли ее во внимание или нет, если да, какие действия. Народ, может, что-то посоветуйте?

Сообщение отредактировал Gewissta - 28.12.2011 - 16:31
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 28.12.2011 - 20:34
Сообщение #42





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(Gewissta @ 28.12.2011 - 16:27) *
Добрый день!
Строю в SPSS модель лог регрессии.
Есть историческая выборка, проблема - мало наблюдений по плохим исходам
модель неважно прогнозирует плохих: 93,9% корректных прогнозов по хорошим и 46% корректных прогнозов по плохим
Перевзвесил, привел к пропорции 50/50, чтоб посмотреть, как будет работать модель
модель стала одинаково хорошо прогнозировать плохих и хороших: 76,3% корректных прогнозов по хорошим и 79,8% корректных прогнозов по плохим. по сути поставленное рук-вом требование построить сбансированную (дающую примерно одинаковый процент правильных прогнозов по обоим классам) модель выполнено
но смущает, что резко обвалилась статистика Хосмера-Лемешева с 0.855 до 0.160
терзаюсь вопросом, принимать ли ее во внимание или нет, если да, какие действия. Народ, может, что-то посоветуйте?


Раз избыток случаев, то можно сделать бутстреп на перевыборках. Делаете нужного размера выборку без возвращения из хороших + все плохие, делаете модель, проверяете предсказания на оставшихся хороших. Соответственно получаете реальную оценку эффективности модели.

Можно и полный бутстреп устроить, обе выборки одинакового рамера извлекать с возвращением, делать модель (смотреть её статистику), делать предсказание для случаев не затронутых бутстрепом и смотреть эффективность модели.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 28.12.2011 - 20:40
Сообщение #43





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(Gewissta @ 28.12.2011 - 16:27) *
но смущает, что резко обвалилась статистика Хосмера-Лемешева с 0.855 до 0.160


так пишут что

Large values of \chi^2_{HL}(and small p-values) indicate a lack of fit of the model.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Gewissta
сообщение 28.12.2011 - 21:05
Сообщение #44





Группа: Пользователи
Сообщений: 14
Регистрация: 29.10.2011
Из: Екатеринбург
Пользователь №: 23265



Цитата(p2004r @ 28.12.2011 - 21:40) *
так пишут что

Large values of \chi^2_{HL}(and small p-values) indicate a lack of fit of the model.

да я знаю по-моему если меньше 0.05 то никуда не годится, а на практике это реально как отражается, интересен опыт форумчан
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Olga_
сообщение 4.01.2012 - 18:34
Сообщение #45





Группа: Пользователи
Сообщений: 43
Регистрация: 4.01.2012
Пользователь №: 23400



Цитата(Gewissta @ 14.12.2011 - 14:53) *
привет профессионалам статистики! хочу спросить, какие базовые предположения лежат в основе метода бинарной логистической регрессии. насколько она устойчива к нарушениям нормальности, гетероскедастичности? какими методами пользуйтесь при удалении/коррекции выбросов?


Доброго всем дня.

Вижу, что вы запутались.
Логистическая регрессия используется для анализа бинарых данных, например, ВИЧ статус +/-, анемия да/нет и т.д. Бинарные данные имеют Бернулли распределение, которое еквивалентно биномиальному распределению Bn(n, p) , c n=1.
Поетому никакое определение нормальности распределения не требуется.

Определение нормально ли распределены данные необходимо, когда вы анализируете числовые/continuous переменные (АД, уровень холестерина, ФВД..)

Сообщение отредактировал Olga_ - 5.01.2012 - 00:55
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

5 страниц V  < 1 2 3 4 5 >
Добавить ответ в эту темуОткрыть тему