Помощь - Поиск - Пользователи - Календарь
Полная версия этой страницы: p-value в Excel или SPSS
Форум врачей-аспирантов > Разделы форума > Медицинская статистика
Choledochus
Добрый день!
Вроде бы должна быть информация, но алгоритм ускользает.
Можно помочь?
Есть две выборки. Можно рассчитать уровень значимости, на котором средние статистически различны? На мой взгляд это и есть p-value.
СПАСИБО!

p.s. Критерий Стьюдента при ручном расчете в Excel 0.7.
100$
А в чем проблема-то?

Дисперсии статистически неразличимы (тест Клотца p=.725)

Тестовая статистика t=.709462
df=279

А дальше все просто: p-value (two-sided)=СТЬЮДРАСП(,709462;279;2)=.4786

Для теста Крамера - Уэлча p-value=.47804 (нормальная аппроксимация)
cardio70
Цитата(Choledochus @ 5.01.2022 - 14:55) *
Добрый день!
Вроде бы должна быть информация, но алгоритм ускользает.
Можно помочь?
Есть две выборки. Можно рассчитать уровень значимости, на котором средние статистически различны? На мой взгляд это и есть p-value.
СПАСИБО!

p.s. Критерий Стьюдента при ручном расчете в Excel 0.7.


Добрый день!
В реальных базах данных всегда разные осложнения. И поэтому как раз и необходимо использовать много разных методов анализа.
Причём не только подобные парные методы анализа, но обязательно и разные многомерные методы анализа.
Более того, исходные количественные признаки не часто адекватны различиям сравниваемых подгрупп.
Поэтому и необходимо эти количественные признаки превращать в разные пробные варианты.
Которые и окажут самые важные связи и различия сравниваемых подгрупп.
Итак, можем Вам помочь. Высылайте свою базу данных согласно образцу Пример 1 (http://www.biometrica.tomsk.ru/example_1.html).
Choledochus
Цитата(100$ @ 5.01.2022 - 16:41) *
А в чем проблема-то?

Дисперсии статистически неразличимы (тест Клотца p=.725)

Тестовая статистика t=.709462
df=279

А дальше все просто: p-value (two-sided)=СТЬЮДРАСП(,709462;279;2)=.4786

Для теста Крамера - Уэлча p-value=.47804 (нормальная аппроксимация)


Спасибо! Тоже так считал. Но не было уверенности, что правильно понял аргументы!
Остальное вы в SPSS считали?
100$
Цитата(Choledochus @ 5.01.2022 - 17:31) *
Остальное вы в SPSS считали?


Нет, тоже в Экселе
Choledochus
Можно про тест Клотца пару слов?
Почитал Айвазяна, тяжело идет
Игорь
Цитата(Choledochus @ 6.01.2022 - 11:43) *
Можно про тест Клотца пару слов?
Почитал Айвазяна, тяжело идет

Дополнение к упомянутому Вами источнику: Hajek J., Sidak Z., Sen P.K. Theory of rank tests. - New York, NY: Academic Press, 1999.
Критерий Клотца (Klotz test) применяется для проверки однородности двух независимых совокупностей (тестирование рассеяния/масштаба).
Какая цель ставится при использовании критерия? Судя по первой записи в теме, интересует тестирование положения (location). Если это так, можно просто взять Вилкоксона (есть в электронных таблицах Gnumeric и PSPP).
Очень доступное изложение теории см. в источниках:
Хеттманспергер Т. Статистические выводы, основанные на рангах. - М.: Финансы и статистика, 1987.
Гаек Я. Теория ранговых критериев / Я. Гаек, З. Шидак. - М.: Наука, 1971.
Choledochus
Спасибо, Игорь! С праздниками.
100$
Цитата(Choledochus @ 6.01.2022 - 11:43) *
Можно про тест Клотца пару слов?
Почитал Айвазяна, тяжело идет


Берем Айвазяна, вдумчиво созерцаем с. 387-388:
1. Выборки объединяем
2. Объединенную выборку ранжируем
3. В статистике критерия фигурирует сумма рангов, соответствующая первой выборке (объема n1)
Функция пси - ранговая метка (см. примечание к (11.35) на с. 386
4. Voila!
Choledochus
Как раз эти страницы "изучал".
Диагностик
Посмотрите критерий Лемана-Розенблатта. Проверяет однородность двух выборок и по матожиданию и по дисперсии.
Игорь
Хотелось заострить внимание на вопросе эквивалентности ранговых критериев. Критерии называются эквивалентными, по определению Холлендера и Вулфа, если для любых возможных выборок решение, принятое с помощью одного из критериев, согласуется с решением, принятым с помощью другого критерия. В свое время исследовал данный вопрос. Даже попросил J.H. Klotz выслать оттиск его довольно старой работы, чему он был удивлен. Вот название: Klotz J.H. Nonparametric tests for scale // Annals of Mathematical Statistics, 1962, vol. 33, no. 2, pp. 498-512. В работе как раз рассматривается эквивалентность ранговых критериев, возможно, впервые.

Собственно, ответ на вопрос, почему в статистическом ПО подборка методов очень ограничена (грубо говоря, обычно по одному методу на каждую тему), был найден. Тут на первое место выходят сопутствующие вопросы: учет связок (совпадающих рангов), точное распределение статистики критерия, поправка на непрерывность (если распределение аппроксимируется непрерывным распределением). Эти исследования проведены для не очень большого числа критериев. Вот их и нужно применять пользователям ПО.
100$
Цитата(Диагностик @ 7.01.2022 - 11:12) *
Посмотрите критерий Лемана-Розенблатта. Проверяет однородность двух выборок и по матожиданию и по дисперсии.


Нет. Он проверяет однородность функций распределения. Там даже интегрирование идет по объединенной эмпирической ф-ции распределения.
Диагностик
Цитата(100$ @ 7.01.2022 - 19:07) *
Нет. Он проверяет однородность функций распределения.
А в чём разница?
100$
Цитата(Диагностик @ 8.01.2022 - 01:58) *
А в чём разница?


"Одна дает, другая дразнится" (с) народ.

Из совпадения ф-ций распределения следует однородность параметров, коими параметризуется плотность распределения. Обратное неверно.
passant
Позволю себе маленький оффтопик, учитывая, что в эту тему, похоже, заглядывают все, кто так сказать "в теме" - извините за тавтологию.
Я понимаю, 50 лет назад, когда рассчитать какую либо статистику на выборке объемом 1000 значений - это уже диссертация, а если еще и p_vаlue вычислить - то почти научный подвиг. В таких условиях, конечно, считать статистику сдвига среднего или масштаба - куда проще, чем анализировать однородность распределений выборок. Но вот сегодня, когда любой (практически) критерий - это вызов одной функции, которая еще и бонусом вернет p_value. А если готовой реализации не сыщется - то самому написать ее на любом доступном инструменте программирования под силу студенту-третьекурснику? Какой смысл "придерживаться" критериев анализа отдельных параметров выборки, если гораздо более точнее - анализировать всю выборку целиком? Ладно бы в системах реального времени, когда имеет значение принятие решения за несколько миллисекунд. А в медицине, экономике, финансах, маркетинге? Почему народ так "держится" старых и очень приблизительных методов, когда ответ можно получить с тем-же усилиями более точный и адекватный?
Интересно услышать мнения специалистов, которые в "теме"?
100$
Цитата(passant @ 8.01.2022 - 16:37) *
Позволю себе маленький оффтопик, учитывая, что в эту тему, похоже, заглядывают все, кто так сказать "в теме" - извините за тавтологию.
Я понимаю, 50 лет назад, когда рассчитать какую либо статистику на выборке объемом 1000 значений - это уже диссертация, а если еще и p_vаlue вычислить - то почти научный подвиг. В таких условиях, конечно, считать статистику сдвига среднего или масштаба - куда проще, чем анализировать однородность распределений выборок. Но вот сегодня, когда любой (практически) критерий - это вызов одной функции, которая еще и бонусом вернет p_value. А если готовой реализации не сыщется - то самому написать ее на любом доступном инструменте программирования под силу студенту-третьекурснику? Какой смысл "придерживаться" критериев анализа отдельных параметров выборки, если гораздо более точнее - анализировать всю выборку целиком? Ладно бы в системах реального времени, когда имеет значение принятие решения за несколько миллисекунд. А в медицине, экономике, финансах, маркетинге? Почему народ так "держится" старых и очень приблизительных методов, когда ответ можно получить с тем-же усилиями более точный и адекватный?
Интересно услышать мнения специалистов, которые в "теме"?


Потому что параметры распределения также вызывают интерес. А то спросит вас на защите уважаемый оппонент или член Совета: "Ну а что там в среднем? Скорость клубочковой фильтрации увеличилась, ай нет?". А вы уважаемому вопрошающему про совпадение функций распределения...
passant
Цитата(100$ @ 8.01.2022 - 17:22) *
Потому что параметры распределения также вызывают интерес. А то спросит вас на защите уважаемый оппонент или член Совета: "Ну а что там в среднем? Скорость клубочковой фильтрации увеличилась, ай нет?". А вы уважаемому вопрошающему про совпадение функций распределения...

Ну, это понятно, хотя мне быть спрошенным уважаемым профессором уже не грозит :-).
Я больше интересуюсь с практической, ну и немного абстрактно-философской точки зрения. Зачем решать частную (частные) задачи, если по сложности не проще, а по точности результата - не лучше, чем решать общую?
P.S. Немного еще поразмыслил над вашим ответом - и вот родилось такое предположения. Я смотрю на задачу с точки зрения динамики текущего мониторинга - обнаружить момент, когда в объекте (организме ?) происходят некие изменения. А врачи - с точки зрения статики оценки результата: есть ли вероятность того, что значение некоторого параметра в результате воздействия (лечения) измениться или нет. Возможно - это один из факторов. А еще?
100$
Цитата(passant @ 8.01.2022 - 19:12) *
Я больше интересуюсь с практической, ну и немного абстрактно-философской точки зрения. Зачем решать частную (частные) задачи, если по сложности не проще, а по точности результата - не лучше, чем решать общую?


Любой статистический критерий, сконструированный для решения задач самого общего вида, будет уступать по мощности критериям, сконструированным для тестирования конкретных альтернатив. Это - раз.

Желательно, чтобы для критерия вероятность отвергнуть нулевую гипотезу в случае, когда она неверна, -> 1. Так рождается понятие состоятельности критерия. Скажем, по "косвенным признакам", я знаю, что в случае тестирования гипотезы самого общего вида критерии Смирнова и Лемана-Розенблатта являются состоятельными. А вот про критерии Катценбайссера - Хакля или Эппса - Синглтона я того же сказать не могу. Значит, надо, обложившись оригинальными статьями, выяснять это. А пока этого не сделано, лихо тестировать ими гипотезы не резон: осадок остается... Это - второй раз.


Цитата
Я смотрю на задачу с точки зрения динамики текущего мониторинга - обнаружить момент, когда в объекте (организме ?) происходят некие изменения.


На эту тему отказываюсь говорить, так как вы еще не отчитались о проделанной в этом направлении работе. )


Цитата
А врачи - с точки зрения статики оценки результата: есть ли вероятность того, что значение некоторого параметра в результате воздействия (лечения) измениться или нет. Возможно - это один из факторов. А еще?



В отношении врачей все не так: уж там-то мониторинг состояния происходит вовсю. Дисперсионный анализ для связанных выборок, критерии Фридмана и Пейджа у меня не пылятся - рекомендую налево и направо...
passant
Цитата(100$ @ 8.01.2022 - 19:05) *
Желательно, чтобы для критерия вероятность отвергнуть нулевую гипотезу в случае, когда она неверна, -> 1. Так рождается понятие состоятельности критерия.
Скажем, по "косвенным признакам", я знаю, что в случае тестирования гипотезы самого общего вида критерии Смирнова и Лемана-Розенблатта являются состоятельными. А вот про критерии Катценбайссера - Хакля или Эппса - Синглтона я того же сказать не могу. Значит, надо, обложившись оригинальными статьями, выяснять это. А пока этого не сделано, лихо тестировать ими гипотезы не резон: осадок остается... Это - второй раз.

Согласен. Может у меня просто глаз замылин, но в той предметной области, с которой мне приходиться дело иметь ошибки первого рода так-же нежелательны, как и ошибки второго рода. Ну или почти также. И каждый раз приходиться искать жесткий компромисс.

Цитата(100$ @ 8.01.2022 - 19:05) *
На эту тему отказываюсь говорить, так как вы еще не отчитались о проделанной в этом направлении работе. )


Ух ты, не забыли :-). Процесс идет, не так быстро, как хотелось бы, но движется. Сейчас вот погрузился в многомерную проверку гипотез. Еще и (хотелось бы) при наличии корреляции между признаками. И связь всего этого с ансамблевыми методами обучения. И там пока "застрял". Мне важно не просто "написать очередную статью", а довести решение до программного продукта. А это ох как не просто. И отнимает много сил. И времени. А его критически не хватает.

Цитата(100$ @ 8.01.2022 - 19:05) *
В отношении врачей все не так: уж там-то мониторинг состояния происходит вовсю. Дисперсионный анализ для связанных выборок, критерии Фридмана и Пейджа у меня не пылятся - рекомендую налево и направо...

Интересно. Дисперсионный анализ для Change Point Detection? Мне казалось, что он все-таки не для временнЫх рядов. Надо подумать.
100$
Цитата(passant @ 8.01.2022 - 21:45) *
Интересно. Дисперсионный анализ для Change Point Detection? Мне казалось, что он все-таки не для временнЫх рядов. Надо подумать.


А зачем мне этот самый point, если у меня пациенты взяты в исследование в точке t0, а затем наблюдаются ч/з 6 мес (t6), 9 мес (t9) и 12 мес (t12)? Вы мне еще этот ряд на стационарность предложите проверить... Вот и проверяем линейные контрасты t0 vs t6. Можем под настроение и критерием Даннетта сравнить с первой группой.
passant
Цитата(100$ @ 8.01.2022 - 21:00) *
А зачем мне этот самый point, если у меня пациенты взяты в исследование в точке t0, а затем наблюдаются ч/з 6 мес (t6), 9 мес (t9) и 12 мес (t12)? Вы мне еще этот ряд на стационарность предложите проверить... Вот и проверяем линейные контрасты t0 vs t6. Можем под настроение и критерием Даннетта сравнить с первой группой.

Хорошо вам :-). А у меня точка t0 отстоит от точки t1 на несколько секунд, в крайнем случае - минут. И change point надо обнаружить "здесь и сейчас". Причем даже не известно, какой из статистик ряда будет меняться и будет-ли. А тут еще и необходимость отслеживания по многим параметрам(показателям) параллельно. В общем - интересно :-)
100$
Цитата(passant @ 8.01.2022 - 22:35) *
И change point надо обнаружить "здесь и сейчас". Причем даже не известно, какой из статистик ряда будет меняться и будет-ли. А тут еще и необходимость отслеживания по многим параметрам(показателям) параллельно. В общем - интересно :-)


А почему нельзя оценить по имеющейся предыстории условную 95%-ю персентиль, посмотреть, сколько пробоев было, опосля чего отмоделировать ее и прикидывать, с какой вероятностью ее пробъет/ не пробъет "здесь и сейчас"?
А то, судя по вашим репортажам, у вас временной ряд спокойный как ЭКГ покойника, и только вы нервничаете в ожидании подвоха...
passant
Цитата(100$ @ 8.01.2022 - 23:59) *
А почему нельзя оценить по имеющейся предыстории условную 95%-ю персентиль, посмотреть, сколько пробоев было, опосля чего отмоделировать ее и прикидывать, с какой вероятностью ее пробъет/ не пробъет "здесь и сейчас"?
А то, судя по вашим репортажам, у вас временной ряд спокойный как ЭКГ покойника, и только вы нервничаете в ожидании подвоха...

Я всегда в восторге от черного врачебного юмора. Честное слово, он всегда неожиданен и точен. Но если придерживаться вашего примера, то у меня скорее пациент с аритмией (так что с процентилями не получается) , причем это его "нормальное состояние", и надо как раз уловить момент (change point), когда он (пациент) начинает переходить в аномальное состояние (мир иной), оповестить об нем медсестру (обслуживающий персонал) что-бы она успела что-то резко и быстро предпринять. (Заранее прошу прощения у всех врачей, но нам так вашу работу в кино показывают, и это лучшая аналогия с моими задачами, которая приходит на ум). Только у меня не одна ЭКГ, а кроме нее еще десятка полтора разных других временных рядов, и изменение состояния объекта наблюдения может отобразиться произвольным образом на изменениях неизвестно какого из них (или их группы). А обслуживающий персонал действительно постоянно находиться "в ожидании подвоха" (кстати, именно поэтому ошибка первого рода крайне нежелательна, ибо снижает его - персонала - бдительность). Вот как-то так получается.
100$
Цитата(passant @ 9.01.2022 - 01:13) *
Я всегда в восторге от черного врачебного юмора. Честное слово, он всегда неожиданен и точен. Но если придерживаться вашего примера, то у меня скорее пациент с аритмией (так что с процентилями не получается) , причем это его "нормальное состояние", и надо как раз уловить момент (change point), когда он (пациент) начинает переходить в аномальное состояние (мир иной), оповестить об нем медсестру (обслуживающий персонал) что-бы она успела что-то резко и быстро предпринять. (Заранее прошу прощения у всех врачей, но нам так вашу работу в кино показывают, и это лучшая аналогия с моими задачами, которая приходит на ум). Только у меня не одна ЭКГ, а кроме нее еще десятка полтора разных других временных рядов, и изменение состояния объекта наблюдения может отобразиться произвольным образом на изменениях неизвестно какого из них (или их группы). А обслуживающий персонал действительно постоянно находиться "в ожидании подвоха" (кстати, именно поэтому ошибка первого рода крайне нежелательна, ибо снижает его - персонала - бдительность). Вот как-то так получается.


Ну рассмотрите векторную авторегрессию. Если ее коэффициенты будут слишком близко подходить к 1 или зашкалят за нее, то жди беды - процесс может принять взрывной характер.
Диагностик
Цитата(100$ @ 8.01.2022 - 17:09) *
Из совпадения ф-ций распределения следует однородность параметров, коими параметризуется плотность распределения.

Читаю и вижу другое.
Цитата
Уточнения понятия однородности. Понятие "однородность", т. е. "отсутствие различия", может быть формализовано в терминах вероятностной модели различными способами.
Наивысшая степень однородности достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза H_0 : F(x)=G(x) при всех х.

Цитата
Непараметрический критерий Лемана-Розенблатта типа омега-квадрат применяется для проверки однородности двух независимых выборок.

100$
Цитата(Диагностик @ 9.01.2022 - 02:24) *
Читаю и вижу другое.


Это не "другое". Это ровно то же самое.
И Леман-Розенблатт тестирует именно эту "наивысшую" степень однородности: F(x)=G(x).
Диагностик
Цитата(100$ @ 9.01.2022 - 18:00) *
И Леман-Розенблатт тестирует именно эту "наивысшую" степень однородности: F(x)=G(x).
Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?
100$
Цитата(Диагностик @ 9.01.2022 - 13:12) *
Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?


Разумеется.
passant
Цитата(Диагностик @ 9.01.2022 - 12:12) *
Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?

Если быть абсолютно точным, то этот (как и любой другой статистический критерий) позволяет показать, что нулевая гипотеза (в данном случае - о том, что обе выборки извлечены из одной ГС) не может быть отвергнута, что формально не есть доказательством этого факта. (Красивый аналог - презумпция невиновности).
Игорь
ICMJE сообщает http://www.icmje.org/recommendations/brows...submission.html:

Preparing a Manuscript for Submission to a Medical Journal
...
iii. Statistics
Describe statistical methods with enough detail to enable a knowledgeable reader with access to the original data to judge its appropriateness for the study and to verify the reported results... Specify the statistical software package(s) and versions used...

Указанное в настоящей теме ПО недоступно в некоторых регионах.
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.
Форум IP.Board © 2001-2025 IPS, Inc.