p-value в Excel или SPSS, Как рассчитать Опции

[passant]

Позволю себе маленький оффтопик, учитывая, что в эту тему, похоже, заглядывают все, кто так сказать "в теме" - извините за тавтологию.
Я понимаю, 50 лет назад, когда рассчитать какую либо статистику на выборке объемом 1000 значений - это уже диссертация, а если еще и p_vаlue вычислить - то почти научный подвиг. В таких условиях, конечно, считать статистику сдвига среднего или масштаба - куда проще, чем анализировать однородность распределений выборок. Но вот сегодня, когда любой (практически) критерий - это вызов одной функции, которая еще и бонусом вернет p_value. А если готовой реализации не сыщется - то самому написать ее на любом доступном инструменте программирования под силу студенту-третьекурснику? Какой смысл "придерживаться" критериев анализа отдельных параметров выборки, если гораздо более точнее - анализировать всю выборку целиком? Ладно бы в системах реального времени, когда имеет значение принятие решения за несколько миллисекунд. А в медицине, экономике, финансах, маркетинге? Почему народ так "держится" старых и очень приблизительных методов, когда ответ можно получить с тем-же усилиями более точный и адекватный?
Интересно услышать мнения специалистов, которые в "теме"?

[100$]

Позволю себе маленький оффтопик, учитывая, что в эту тему, похоже, заглядывают все, кто так сказать "в теме" - извините за тавтологию.
Я понимаю, 50 лет назад, когда рассчитать какую либо статистику на выборке объемом 1000 значений - это уже диссертация, а если еще и p_vаlue вычислить - то почти научный подвиг. В таких условиях, конечно, считать статистику сдвига среднего или масштаба - куда проще, чем анализировать однородность распределений выборок. Но вот сегодня, когда любой (практически) критерий - это вызов одной функции, которая еще и бонусом вернет p_value. А если готовой реализации не сыщется - то самому написать ее на любом доступном инструменте программирования под силу студенту-третьекурснику? Какой смысл "придерживаться" критериев анализа отдельных параметров выборки, если гораздо более точнее - анализировать всю выборку целиком? Ладно бы в системах реального времени, когда имеет значение принятие решения за несколько миллисекунд. А в медицине, экономике, финансах, маркетинге? Почему народ так "держится" старых и очень приблизительных методов, когда ответ можно получить с тем-же усилиями более точный и адекватный?
Интересно услышать мнения специалистов, которые в "теме"?

Потому что параметры распределения также вызывают интерес. А то спросит вас на защите уважаемый оппонент или член Совета: "Ну а что там в среднем? Скорость клубочковой фильтрации увеличилась, ай нет?". А вы уважаемому вопрошающему про совпадение функций распределения...

[passant]

Потому что параметры распределения также вызывают интерес. А то спросит вас на защите уважаемый оппонент или член Совета: "Ну а что там в среднем? Скорость клубочковой фильтрации увеличилась, ай нет?". А вы уважаемому вопрошающему про совпадение функций распределения...

Ну, это понятно, хотя мне быть спрошенным уважаемым профессором уже не грозит :-).
Я больше интересуюсь с практической, ну и немного абстрактно-философской точки зрения. Зачем решать частную (частные) задачи, если по сложности не проще, а по точности результата - не лучше, чем решать общую?
P.S. Немного еще поразмыслил над вашим ответом - и вот родилось такое предположения. Я смотрю на задачу с точки зрения динамики текущего мониторинга - обнаружить момент, когда в объекте (организме ?) происходят некие изменения. А врачи - с точки зрения статики оценки результата: есть ли вероятность того, что значение некоторого параметра в результате воздействия (лечения) измениться или нет. Возможно - это один из факторов. А еще?

Сообщение отредактировал passant - 8.01.2022 - 19:21

[100$]

Я больше интересуюсь с практической, ну и немного абстрактно-философской точки зрения. Зачем решать частную (частные) задачи, если по сложности не проще, а по точности результата - не лучше, чем решать общую?

Любой статистический критерий, сконструированный для решения задач самого общего вида, будет уступать по мощности критериям, сконструированным для тестирования конкретных альтернатив. Это - раз.

Желательно, чтобы для критерия вероятность отвергнуть нулевую гипотезу в случае, когда она неверна, -> 1. Так рождается понятие состоятельности критерия. Скажем, по "косвенным признакам", я знаю, что в случае тестирования гипотезы самого общего вида критерии Смирнова и Лемана-Розенблатта являются состоятельными. А вот про критерии Катценбайссера - Хакля или Эппса - Синглтона я того же сказать не могу. Значит, надо, обложившись оригинальными статьями, выяснять это. А пока этого не сделано, лихо тестировать ими гипотезы не резон: осадок остается... Это - второй раз.

Я смотрю на задачу с точки зрения динамики текущего мониторинга - обнаружить момент, когда в объекте (организме ?) происходят некие изменения.

На эту тему отказываюсь говорить, так как вы еще не отчитались о проделанной в этом направлении работе. )

А врачи - с точки зрения статики оценки результата: есть ли вероятность того, что значение некоторого параметра в результате воздействия (лечения) измениться или нет. Возможно - это один из факторов. А еще?

В отношении врачей все не так: уж там-то мониторинг состояния происходит вовсю. Дисперсионный анализ для связанных выборок, критерии Фридмана и Пейджа у меня не пылятся - рекомендую налево и направо...

Сообщение отредактировал 100$ - 8.01.2022 - 20:15

[passant]

Желательно, чтобы для критерия вероятность отвергнуть нулевую гипотезу в случае, когда она неверна, -> 1. Так рождается понятие состоятельности критерия.
Скажем, по "косвенным признакам", я знаю, что в случае тестирования гипотезы самого общего вида критерии Смирнова и Лемана-Розенблатта являются состоятельными. А вот про критерии Катценбайссера - Хакля или Эппса - Синглтона я того же сказать не могу. Значит, надо, обложившись оригинальными статьями, выяснять это. А пока этого не сделано, лихо тестировать ими гипотезы не резон: осадок остается... Это - второй раз.

Согласен. Может у меня просто глаз замылин, но в той предметной области, с которой мне приходиться дело иметь ошибки первого рода так-же нежелательны, как и ошибки второго рода. Ну или почти также. И каждый раз приходиться искать жесткий компромисс.

На эту тему отказываюсь говорить, так как вы еще не отчитались о проделанной в этом направлении работе. )

Ух ты, не забыли :-). Процесс идет, не так быстро, как хотелось бы, но движется. Сейчас вот погрузился в многомерную проверку гипотез. Еще и (хотелось бы) при наличии корреляции между признаками. И связь всего этого с ансамблевыми методами обучения. И там пока "застрял". Мне важно не просто "написать очередную статью", а довести решение до программного продукта. А это ох как не просто. И отнимает много сил. И времени. А его критически не хватает.

В отношении врачей все не так: уж там-то мониторинг состояния происходит вовсю. Дисперсионный анализ для связанных выборок, критерии Фридмана и Пейджа у меня не пылятся - рекомендую налево и направо...

Интересно. Дисперсионный анализ для Change Point Detection? Мне казалось, что он все-таки не для временнЫх рядов. Надо подумать.

Сообщение отредактировал passant - 8.01.2022 - 21:47

[100$]

Интересно. Дисперсионный анализ для Change Point Detection? Мне казалось, что он все-таки не для временнЫх рядов. Надо подумать.

А зачем мне этот самый point, если у меня пациенты взяты в исследование в точке t0, а затем наблюдаются ч/з 6 мес (t6), 9 мес (t9) и 12 мес (t12)? Вы мне еще этот ряд на стационарность предложите проверить... Вот и проверяем линейные контрасты t0 vs t6. Можем под настроение и критерием Даннетта сравнить с первой группой.

Сообщение отредактировал 100$ - 8.01.2022 - 22:17

[passant]

А зачем мне этот самый point, если у меня пациенты взяты в исследование в точке t0, а затем наблюдаются ч/з 6 мес (t6), 9 мес (t9) и 12 мес (t12)? Вы мне еще этот ряд на стационарность предложите проверить... Вот и проверяем линейные контрасты t0 vs t6. Можем под настроение и критерием Даннетта сравнить с первой группой.

Хорошо вам :-). А у меня точка t0 отстоит от точки t1 на несколько секунд, в крайнем случае - минут. И change point надо обнаружить "здесь и сейчас". Причем даже не известно, какой из статистик ряда будет меняться и будет-ли. А тут еще и необходимость отслеживания по многим параметрам(показателям) параллельно. В общем - интересно :-)

Сообщение отредактировал passant - 8.01.2022 - 22:36

[100$]

И change point надо обнаружить "здесь и сейчас". Причем даже не известно, какой из статистик ряда будет меняться и будет-ли. А тут еще и необходимость отслеживания по многим параметрам(показателям) параллельно. В общем - интересно :-)

А почему нельзя оценить по имеющейся предыстории условную 95%-ю персентиль, посмотреть, сколько пробоев было, опосля чего отмоделировать ее и прикидывать, с какой вероятностью ее пробъет/ не пробъет "здесь и сейчас"?
А то, судя по вашим репортажам, у вас временной ряд спокойный как ЭКГ покойника, и только вы нервничаете в ожидании подвоха...

[passant]

А почему нельзя оценить по имеющейся предыстории условную 95%-ю персентиль, посмотреть, сколько пробоев было, опосля чего отмоделировать ее и прикидывать, с какой вероятностью ее пробъет/ не пробъет "здесь и сейчас"?
А то, судя по вашим репортажам, у вас временной ряд спокойный как ЭКГ покойника, и только вы нервничаете в ожидании подвоха...

Я всегда в восторге от черного врачебного юмора. Честное слово, он всегда неожиданен и точен. Но если придерживаться вашего примера, то у меня скорее пациент с аритмией (так что с процентилями не получается) , причем это его "нормальное состояние", и надо как раз уловить момент (change point), когда он (пациент) начинает переходить в аномальное состояние (мир иной), оповестить об нем медсестру (обслуживающий персонал) что-бы она успела что-то резко и быстро предпринять. (Заранее прошу прощения у всех врачей, но нам так вашу работу в кино показывают, и это лучшая аналогия с моими задачами, которая приходит на ум). Только у меня не одна ЭКГ, а кроме нее еще десятка полтора разных других временных рядов, и изменение состояния объекта наблюдения может отобразиться произвольным образом на изменениях неизвестно какого из них (или их группы). А обслуживающий персонал действительно постоянно находиться "в ожидании подвоха" (кстати, именно поэтому ошибка первого рода крайне нежелательна, ибо снижает его - персонала - бдительность). Вот как-то так получается.

Сообщение отредактировал passant - 9.01.2022 - 01:16

[100$]

Я всегда в восторге от черного врачебного юмора. Честное слово, он всегда неожиданен и точен. Но если придерживаться вашего примера, то у меня скорее пациент с аритмией (так что с процентилями не получается) , причем это его "нормальное состояние", и надо как раз уловить момент (change point), когда он (пациент) начинает переходить в аномальное состояние (мир иной), оповестить об нем медсестру (обслуживающий персонал) что-бы она успела что-то резко и быстро предпринять. (Заранее прошу прощения у всех врачей, но нам так вашу работу в кино показывают, и это лучшая аналогия с моими задачами, которая приходит на ум). Только у меня не одна ЭКГ, а кроме нее еще десятка полтора разных других временных рядов, и изменение состояния объекта наблюдения может отобразиться произвольным образом на изменениях неизвестно какого из них (или их группы). А обслуживающий персонал действительно постоянно находиться "в ожидании подвоха" (кстати, именно поэтому ошибка первого рода крайне нежелательна, ибо снижает его - персонала - бдительность). Вот как-то так получается.

Ну рассмотрите векторную авторегрессию. Если ее коэффициенты будут слишком близко подходить к 1 или зашкалят за нее, то жди беды - процесс может принять взрывной характер.

[Диагностик]

Из совпадения ф-ций распределения следует однородность параметров, коими параметризуется плотность распределения.

Читаю и вижу другое.

Уточнения понятия однородности. Понятие "однородность", т. е. "отсутствие различия", может быть формализовано в терминах вероятностной модели различными способами.
Наивысшая степень однородности достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза H_0 : F(x)=G(x) при всех х.

Непараметрический критерий Лемана-Розенблатта типа омега-квадрат применяется для проверки однородности двух независимых выборок.

[100$]

Читаю и вижу другое.

Это не "другое". Это ровно то же самое.
И Леман-Розенблатт тестирует именно эту "наивысшую" степень однородности: F(x)=G(x).

[Диагностик]

И Леман-Розенблатт тестирует именно эту "наивысшую" степень однородности: F(x)=G(x).

Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?

Сообщение отредактировал Диагностик - 9.01.2022 - 13:18

[100$]

Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?

Разумеется.

[passant]

Спасибо! Этот критерий может показать что обе выборки извлечены из одной ГС?

Если быть абсолютно точным, то этот (как и любой другой статистический критерий) позволяет показать, что нулевая гипотеза (в данном случае - о том, что обе выборки извлечены из одной ГС) не может быть отвергнута, что формально не есть доказательством этого факта. (Красивый аналог - презумпция невиновности).

Сообщение отредактировал passant - 9.01.2022 - 13:52