p-value в Excel или SPSS, Как рассчитать Опции

[Choledochus]

Добрый день!
Вроде бы должна быть информация, но алгоритм ускользает.
Можно помочь?
Есть две выборки. Можно рассчитать уровень значимости, на котором средние статистически различны? На мой взгляд это и есть p-value.
СПАСИБО!

p.s. Критерий Стьюдента при ручном расчете в Excel 0.7.

Сообщение отредактировал Choledochus - 5.01.2022 - 15:07

Прикрепленные файлы

 p_value.xlsx ( 12,8 килобайт ) Кол-во скачиваний: 610

 

[100$]

А в чем проблема-то?

Дисперсии статистически неразличимы (тест Клотца p=.725)

Тестовая статистика t=.709462
df=279

А дальше все просто: p-value (two-sided)=СТЬЮДРАСП(,709462;279;2)=.4786

Для теста Крамера - Уэлча p-value=.47804 (нормальная аппроксимация)

[cardio70]

Добрый день!
Вроде бы должна быть информация, но алгоритм ускользает.
Можно помочь?
Есть две выборки. Можно рассчитать уровень значимости, на котором средние статистически различны? На мой взгляд это и есть p-value.
СПАСИБО!

p.s. Критерий Стьюдента при ручном расчете в Excel 0.7.

Добрый день!
В реальных базах данных всегда разные осложнения. И поэтому как раз и необходимо использовать много разных методов анализа.
Причём не только подобные парные методы анализа, но обязательно и разные многомерные методы анализа.
Более того, исходные количественные признаки не часто адекватны различиям сравниваемых подгрупп.
Поэтому и необходимо эти количественные признаки превращать в разные пробные варианты.
Которые и окажут самые важные связи и различия сравниваемых подгрупп.
Итак, можем Вам помочь. Высылайте свою базу данных согласно образцу Пример 1 (http://www.biometrica.tomsk.ru/example_1.html).

[Choledochus]

А в чем проблема-то?

Дисперсии статистически неразличимы (тест Клотца p=.725)

Тестовая статистика t=.709462
df=279

А дальше все просто: p-value (two-sided)=СТЬЮДРАСП(,709462;279;2)=.4786

Для теста Крамера - Уэлча p-value=.47804 (нормальная аппроксимация)

Спасибо! Тоже так считал. Но не было уверенности, что правильно понял аргументы!
Остальное вы в SPSS считали?

[100$]

Остальное вы в SPSS считали?

Нет, тоже в Экселе

[Choledochus]

Можно про тест Клотца пару слов?
Почитал Айвазяна, тяжело идет

Сообщение отредактировал Choledochus - 6.01.2022 - 12:00

[Игорь]

Можно про тест Клотца пару слов?
Почитал Айвазяна, тяжело идет

Дополнение к упомянутому Вами источнику: Hajek J., Sidak Z., Sen P.K. Theory of rank tests. - New York, NY: Academic Press, 1999.
Критерий Клотца (Klotz test) применяется для проверки однородности двух независимых совокупностей (тестирование рассеяния/масштаба).
Какая цель ставится при использовании критерия? Судя по первой записи в теме, интересует тестирование положения (location). Если это так, можно просто взять Вилкоксона (есть в электронных таблицах Gnumeric и PSPP).
Очень доступное изложение теории см. в источниках:
Хеттманспергер Т. Статистические выводы, основанные на рангах. - М.: Финансы и статистика, 1987.
Гаек Я. Теория ранговых критериев / Я. Гаек, З. Шидак. - М.: Наука, 1971.

Сообщение отредактировал Игорь - 6.01.2022 - 13:25

[Choledochus]

Спасибо, Игорь! С праздниками.

[100$]

Можно про тест Клотца пару слов?
Почитал Айвазяна, тяжело идет

Берем Айвазяна, вдумчиво созерцаем с. 387-388:
1. Выборки объединяем
2. Объединенную выборку ранжируем
3. В статистике критерия фигурирует сумма рангов, соответствующая первой выборке (объема n1)
Функция пси - ранговая метка (см. примечание к (11.35) на с. 386
4. Voila!

[Choledochus]

Как раз эти страницы "изучал".

[Диагностик]

Посмотрите критерий Лемана-Розенблатта. Проверяет однородность двух выборок и по матожиданию и по дисперсии.

[Игорь]

Хотелось заострить внимание на вопросе эквивалентности ранговых критериев. Критерии называются эквивалентными, по определению Холлендера и Вулфа, если для любых возможных выборок решение, принятое с помощью одного из критериев, согласуется с решением, принятым с помощью другого критерия. В свое время исследовал данный вопрос. Даже попросил J.H. Klotz выслать оттиск его довольно старой работы, чему он был удивлен. Вот название: Klotz J.H. Nonparametric tests for scale // Annals of Mathematical Statistics, 1962, vol. 33, no. 2, pp. 498-512. В работе как раз рассматривается эквивалентность ранговых критериев, возможно, впервые.

Собственно, ответ на вопрос, почему в статистическом ПО подборка методов очень ограничена (грубо говоря, обычно по одному методу на каждую тему), был найден. Тут на первое место выходят сопутствующие вопросы: учет связок (совпадающих рангов), точное распределение статистики критерия, поправка на непрерывность (если распределение аппроксимируется непрерывным распределением). Эти исследования проведены для не очень большого числа критериев. Вот их и нужно применять пользователям ПО.

Сообщение отредактировал Игорь - 7.01.2022 - 14:36

[100$]

Посмотрите критерий Лемана-Розенблатта. Проверяет однородность двух выборок и по матожиданию и по дисперсии.

Нет. Он проверяет однородность функций распределения. Там даже интегрирование идет по объединенной эмпирической ф-ции распределения.

[Диагностик]

Нет. Он проверяет однородность функций распределения.

А в чём разница?

[100$]

А в чём разница?

"Одна дает, другая дразнится" (с) народ.

Из совпадения ф-ций распределения следует однородность параметров, коими параметризуется плотность распределения. Обратное неверно.

[passant]

Позволю себе маленький оффтопик, учитывая, что в эту тему, похоже, заглядывают все, кто так сказать "в теме" - извините за тавтологию.
Я понимаю, 50 лет назад, когда рассчитать какую либо статистику на выборке объемом 1000 значений - это уже диссертация, а если еще и p_vаlue вычислить - то почти научный подвиг. В таких условиях, конечно, считать статистику сдвига среднего или масштаба - куда проще, чем анализировать однородность распределений выборок. Но вот сегодня, когда любой (практически) критерий - это вызов одной функции, которая еще и бонусом вернет p_value. А если готовой реализации не сыщется - то самому написать ее на любом доступном инструменте программирования под силу студенту-третьекурснику? Какой смысл "придерживаться" критериев анализа отдельных параметров выборки, если гораздо более точнее - анализировать всю выборку целиком? Ладно бы в системах реального времени, когда имеет значение принятие решения за несколько миллисекунд. А в медицине, экономике, финансах, маркетинге? Почему народ так "держится" старых и очень приблизительных методов, когда ответ можно получить с тем-же усилиями более точный и адекватный?
Интересно услышать мнения специалистов, которые в "теме"?

[100$]

Позволю себе маленький оффтопик, учитывая, что в эту тему, похоже, заглядывают все, кто так сказать "в теме" - извините за тавтологию.
Я понимаю, 50 лет назад, когда рассчитать какую либо статистику на выборке объемом 1000 значений - это уже диссертация, а если еще и p_vаlue вычислить - то почти научный подвиг. В таких условиях, конечно, считать статистику сдвига среднего или масштаба - куда проще, чем анализировать однородность распределений выборок. Но вот сегодня, когда любой (практически) критерий - это вызов одной функции, которая еще и бонусом вернет p_value. А если готовой реализации не сыщется - то самому написать ее на любом доступном инструменте программирования под силу студенту-третьекурснику? Какой смысл "придерживаться" критериев анализа отдельных параметров выборки, если гораздо более точнее - анализировать всю выборку целиком? Ладно бы в системах реального времени, когда имеет значение принятие решения за несколько миллисекунд. А в медицине, экономике, финансах, маркетинге? Почему народ так "держится" старых и очень приблизительных методов, когда ответ можно получить с тем-же усилиями более точный и адекватный?
Интересно услышать мнения специалистов, которые в "теме"?

Потому что параметры распределения также вызывают интерес. А то спросит вас на защите уважаемый оппонент или член Совета: "Ну а что там в среднем? Скорость клубочковой фильтрации увеличилась, ай нет?". А вы уважаемому вопрошающему про совпадение функций распределения...

[passant]

Потому что параметры распределения также вызывают интерес. А то спросит вас на защите уважаемый оппонент или член Совета: "Ну а что там в среднем? Скорость клубочковой фильтрации увеличилась, ай нет?". А вы уважаемому вопрошающему про совпадение функций распределения...

Ну, это понятно, хотя мне быть спрошенным уважаемым профессором уже не грозит :-).
Я больше интересуюсь с практической, ну и немного абстрактно-философской точки зрения. Зачем решать частную (частные) задачи, если по сложности не проще, а по точности результата - не лучше, чем решать общую?
P.S. Немного еще поразмыслил над вашим ответом - и вот родилось такое предположения. Я смотрю на задачу с точки зрения динамики текущего мониторинга - обнаружить момент, когда в объекте (организме ?) происходят некие изменения. А врачи - с точки зрения статики оценки результата: есть ли вероятность того, что значение некоторого параметра в результате воздействия (лечения) измениться или нет. Возможно - это один из факторов. А еще?

Сообщение отредактировал passant - 8.01.2022 - 19:21

[100$]

Я больше интересуюсь с практической, ну и немного абстрактно-философской точки зрения. Зачем решать частную (частные) задачи, если по сложности не проще, а по точности результата - не лучше, чем решать общую?

Любой статистический критерий, сконструированный для решения задач самого общего вида, будет уступать по мощности критериям, сконструированным для тестирования конкретных альтернатив. Это - раз.

Желательно, чтобы для критерия вероятность отвергнуть нулевую гипотезу в случае, когда она неверна, -> 1. Так рождается понятие состоятельности критерия. Скажем, по "косвенным признакам", я знаю, что в случае тестирования гипотезы самого общего вида критерии Смирнова и Лемана-Розенблатта являются состоятельными. А вот про критерии Катценбайссера - Хакля или Эппса - Синглтона я того же сказать не могу. Значит, надо, обложившись оригинальными статьями, выяснять это. А пока этого не сделано, лихо тестировать ими гипотезы не резон: осадок остается... Это - второй раз.

Я смотрю на задачу с точки зрения динамики текущего мониторинга - обнаружить момент, когда в объекте (организме ?) происходят некие изменения.

На эту тему отказываюсь говорить, так как вы еще не отчитались о проделанной в этом направлении работе. )

А врачи - с точки зрения статики оценки результата: есть ли вероятность того, что значение некоторого параметра в результате воздействия (лечения) измениться или нет. Возможно - это один из факторов. А еще?

В отношении врачей все не так: уж там-то мониторинг состояния происходит вовсю. Дисперсионный анализ для связанных выборок, критерии Фридмана и Пейджа у меня не пылятся - рекомендую налево и направо...

Сообщение отредактировал 100$ - 8.01.2022 - 20:15

[passant]

Желательно, чтобы для критерия вероятность отвергнуть нулевую гипотезу в случае, когда она неверна, -> 1. Так рождается понятие состоятельности критерия.
Скажем, по "косвенным признакам", я знаю, что в случае тестирования гипотезы самого общего вида критерии Смирнова и Лемана-Розенблатта являются состоятельными. А вот про критерии Катценбайссера - Хакля или Эппса - Синглтона я того же сказать не могу. Значит, надо, обложившись оригинальными статьями, выяснять это. А пока этого не сделано, лихо тестировать ими гипотезы не резон: осадок остается... Это - второй раз.

Согласен. Может у меня просто глаз замылин, но в той предметной области, с которой мне приходиться дело иметь ошибки первого рода так-же нежелательны, как и ошибки второго рода. Ну или почти также. И каждый раз приходиться искать жесткий компромисс.

На эту тему отказываюсь говорить, так как вы еще не отчитались о проделанной в этом направлении работе. )

Ух ты, не забыли :-). Процесс идет, не так быстро, как хотелось бы, но движется. Сейчас вот погрузился в многомерную проверку гипотез. Еще и (хотелось бы) при наличии корреляции между признаками. И связь всего этого с ансамблевыми методами обучения. И там пока "застрял". Мне важно не просто "написать очередную статью", а довести решение до программного продукта. А это ох как не просто. И отнимает много сил. И времени. А его критически не хватает.

В отношении врачей все не так: уж там-то мониторинг состояния происходит вовсю. Дисперсионный анализ для связанных выборок, критерии Фридмана и Пейджа у меня не пылятся - рекомендую налево и направо...

Интересно. Дисперсионный анализ для Change Point Detection? Мне казалось, что он все-таки не для временнЫх рядов. Надо подумать.

Сообщение отредактировал passant - 8.01.2022 - 21:47

[100$]

Интересно. Дисперсионный анализ для Change Point Detection? Мне казалось, что он все-таки не для временнЫх рядов. Надо подумать.

А зачем мне этот самый point, если у меня пациенты взяты в исследование в точке t0, а затем наблюдаются ч/з 6 мес (t6), 9 мес (t9) и 12 мес (t12)? Вы мне еще этот ряд на стационарность предложите проверить... Вот и проверяем линейные контрасты t0 vs t6. Можем под настроение и критерием Даннетта сравнить с первой группой.

Сообщение отредактировал 100$ - 8.01.2022 - 22:17

[passant]

А зачем мне этот самый point, если у меня пациенты взяты в исследование в точке t0, а затем наблюдаются ч/з 6 мес (t6), 9 мес (t9) и 12 мес (t12)? Вы мне еще этот ряд на стационарность предложите проверить... Вот и проверяем линейные контрасты t0 vs t6. Можем под настроение и критерием Даннетта сравнить с первой группой.

Хорошо вам :-). А у меня точка t0 отстоит от точки t1 на несколько секунд, в крайнем случае - минут. И change point надо обнаружить "здесь и сейчас". Причем даже не известно, какой из статистик ряда будет меняться и будет-ли. А тут еще и необходимость отслеживания по многим параметрам(показателям) параллельно. В общем - интересно :-)

Сообщение отредактировал passant - 8.01.2022 - 22:36

[100$]

И change point надо обнаружить "здесь и сейчас". Причем даже не известно, какой из статистик ряда будет меняться и будет-ли. А тут еще и необходимость отслеживания по многим параметрам(показателям) параллельно. В общем - интересно :-)

А почему нельзя оценить по имеющейся предыстории условную 95%-ю персентиль, посмотреть, сколько пробоев было, опосля чего отмоделировать ее и прикидывать, с какой вероятностью ее пробъет/ не пробъет "здесь и сейчас"?
А то, судя по вашим репортажам, у вас временной ряд спокойный как ЭКГ покойника, и только вы нервничаете в ожидании подвоха...

[passant]

А почему нельзя оценить по имеющейся предыстории условную 95%-ю персентиль, посмотреть, сколько пробоев было, опосля чего отмоделировать ее и прикидывать, с какой вероятностью ее пробъет/ не пробъет "здесь и сейчас"?
А то, судя по вашим репортажам, у вас временной ряд спокойный как ЭКГ покойника, и только вы нервничаете в ожидании подвоха...

Я всегда в восторге от черного врачебного юмора. Честное слово, он всегда неожиданен и точен. Но если придерживаться вашего примера, то у меня скорее пациент с аритмией (так что с процентилями не получается) , причем это его "нормальное состояние", и надо как раз уловить момент (change point), когда он (пациент) начинает переходить в аномальное состояние (мир иной), оповестить об нем медсестру (обслуживающий персонал) что-бы она успела что-то резко и быстро предпринять. (Заранее прошу прощения у всех врачей, но нам так вашу работу в кино показывают, и это лучшая аналогия с моими задачами, которая приходит на ум). Только у меня не одна ЭКГ, а кроме нее еще десятка полтора разных других временных рядов, и изменение состояния объекта наблюдения может отобразиться произвольным образом на изменениях неизвестно какого из них (или их группы). А обслуживающий персонал действительно постоянно находиться "в ожидании подвоха" (кстати, именно поэтому ошибка первого рода крайне нежелательна, ибо снижает его - персонала - бдительность). Вот как-то так получается.

Сообщение отредактировал passant - 9.01.2022 - 01:16

[100$]

Я всегда в восторге от черного врачебного юмора. Честное слово, он всегда неожиданен и точен. Но если придерживаться вашего примера, то у меня скорее пациент с аритмией (так что с процентилями не получается) , причем это его "нормальное состояние", и надо как раз уловить момент (change point), когда он (пациент) начинает переходить в аномальное состояние (мир иной), оповестить об нем медсестру (обслуживающий персонал) что-бы она успела что-то резко и быстро предпринять. (Заранее прошу прощения у всех врачей, но нам так вашу работу в кино показывают, и это лучшая аналогия с моими задачами, которая приходит на ум). Только у меня не одна ЭКГ, а кроме нее еще десятка полтора разных других временных рядов, и изменение состояния объекта наблюдения может отобразиться произвольным образом на изменениях неизвестно какого из них (или их группы). А обслуживающий персонал действительно постоянно находиться "в ожидании подвоха" (кстати, именно поэтому ошибка первого рода крайне нежелательна, ибо снижает его - персонала - бдительность). Вот как-то так получается.

Ну рассмотрите векторную авторегрессию. Если ее коэффициенты будут слишком близко подходить к 1 или зашкалят за нее, то жди беды - процесс может принять взрывной характер.

[Диагностик]

Из совпадения ф-ций распределения следует однородность параметров, коими параметризуется плотность распределения.

Читаю и вижу другое.

Уточнения понятия однородности. Понятие "однородность", т. е. "отсутствие различия", может быть формализовано в терминах вероятностной модели различными способами.
Наивысшая степень однородности достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза H_0 : F(x)=G(x) при всех х.

Непараметрический критерий Лемана-Розенблатта типа омега-квадрат применяется для проверки однородности двух независимых выборок.

[100$]

Читаю и вижу другое.

Это не "другое". Это ровно то же самое.
И Леман-Розенблатт тестирует именно эту "наивысшую" степень однородности: F(x)=G(x).

[Диагностик]

И Леман-Розенблатт тестирует именно эту "наивысшую" степень однородности: F(x)=G(x).

Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?

Сообщение отредактировал Диагностик - 9.01.2022 - 13:18

[100$]

Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?

Разумеется.

[passant]

Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?

Если быть абсолютно точным, то этот (как и любой другой статистический критерий) позволяет показать, что нулевая гипотеза (в данном случае - о том, что обе выборки извлечены из одной ГС) не может быть отвергнута, что формально не есть доказательством этого факта. (Красивый аналог - презумпция невиновности).

Сообщение отредактировал passant - 9.01.2022 - 13:52

[Игорь]

ICMJE сообщает http://www.icmje.org/recommendations/brows...submission.html:

Preparing a Manuscript for Submission to a Medical Journal
...
iii. Statistics
Describe statistical methods with enough detail to enable a knowledgeable reader with access to the original data to judge its appropriateness for the study and to verify the reported results... Specify the statistical software package(s) and versions used...

Указанное в настоящей теме ПО недоступно в некоторых регионах.

Сообщение отредактировал Игорь - 10.04.2022 - 18:44