Уважаемые коллеги-медики.

Поскольку в последнее время наметился некоторый застой на этом интереснейшем форуме и что-бы несколько стимулировать активность участников, осмелюсь предложить вам проблему, которая - как я полагаю - в медицинской среде должна быть более исследована, чем в остальных областях применения статистики. Я имею ввиду практику метаанализа, которая распространена (по крайней мере мне, НЕ специализирующемуся на медицинских задачах, так кажется) в области медстатистики и которая слабо исследована в других предметных областях.

Итак, формальная постановка задачи. Необходимо подтвердить H0 гипотезу отсутствия различий между двумя наборами данных. Таких тестов проводится множество. Результаты каждого теста представлены в виде соответствующего p-value. Необходимо поставить "окончательный диагноз", т.е. основываясь на указанном наборе p-value's дать окончательную оценку относительно принятия-отклонения гипотезы. В виде некоторого "обобщенного" p-value, разумеется. Получается такая себе "многомерная проверка гипотез".

Задача - как мне видется, возможно я и ошибаюсь - имеет несколько подвариантов.

Первый и самый, наверное, простой - все тесты проводятся одним и тем-же методом. Т.е. в области медицины - множество групп пациентов, например - в различных клиниках, каждая считает и предоставляет свои данные, например, по эффективности определенного лекарственного средства. Результаты должны быть формально обобщены. Как?

Второй - оценивается два объекта (в медицинских терминах, наверное - групп пациентов) каждая по множеству разных параметров (давление, рост, вес.....). Необходимо проанализировав p-value отличия по каждому из параметров, формально определить, различаются-ли эти группы пациентов.

Третий - у нас один параметр, но тестов мы проводим много (ну, самое простое - t-Стюдента, F-Фишера, тесты на различие моментов более высокого порядка, тест на постоянство автокорреляции, тест на постоянство коэффициента Херста - не важно). И решение надо принять по совокупности p-value, полученных на разных тестах.. (Ну, например, отслеживаем изменение этого параметра у пациента во времени).

Возможно, есть и другие варианты постановки задачи, но я их пока не вижу.

Итак, вопрос. Занимается-ли медстатистика такими задачами и если да (полагаю, что так и есть), то посоветуйте пожалуйста, натолкните на работы, где такие подходы разбираются. Ну и хочу все-таки отметить, что меня интересует не медицинская сторона этих работ, а именно формально-математико-статистическая.

Заранее благодарю за любую информацию, и извиняюсь, если непрофессиональностью медицинских примеров задел чьи-то тонкие струны души ::
Всем не хворать, а тем кто на карантине - стойко его выдержать.

По объединени р-значений. Я качал когда-то пару-тройку книг по мета-анализу (МА), но их просмотр по диагонали не оставил глубокого впечатления. Помню, что видел там формулу из Сокала и Рольфа на стр. 794 и далее. В этом pdf это стр. 806 и пример на стр. 807: http://yadi.sk/d/CMndWKYvQu6b2

Одного из наших магистрантов пару лет назад работодатель отправлял на учёбу в Москву, где им прочли хороший курс по МА с практикой. Из того, чем он бегло поделился, я понял, что главным был корректный отбор публикаций в исследование, когда из нескольких сотен осталось пара десятков. Я не владею МА, но, вероятно, тема хорошо разработана и спецы в этом есть и в РФ. Но известный косяк всех МА - публикационное смещение (publication bias), которое в принципе неустранимо никакой статистикой.

Ясно, что наряду оценкой статистической значимости эффекта нужно ещё сводить воедино и величину эффекта (effect size). При этом одни авторы дают медианы с квартилями, другие средние с ДИ или стандартными отклонениями, ст. ошибкми... Попадалась работа как наиболее статистически обоснованно конверитировать эти показатели друг в друга для сведения. Если интересно - поищу.

Это невозможная постановка задачи. Нулевую гипотезу можно только отвергнуть, при произвольно выбранных трех параметров (и вычисленном четвертом) из четырех 1-2)ошибках первого-второго родов, 3)размере эффекта, 4) размер группы.

Ну вот для каждого из исследований в выборке метаанализа проводите этот расчет-перерасчет и "приводите к обозримому одновременно виду".

Например размер выборки уже "прибит гвоздями" и константа в пострассмотрении, значит "по этой оси ставим точку", остальные три переменных "живут в пространстве размерности минус один", значит они будут в виде "плоскости проходящей через точку размера выборки". Ну и остальные исследования так же "перегоняем".

Размер эффекта по сути эквивалентен этакому "одностороннему доверительному интервалу", по его оси (её направление в построенном пространстве можно и восстановить) его и откладываем "от нуля". Картину перекрывающихся "интервалов эффектов" от исследований "глубокомысленно изучаем" и делаем выводы.

"Математически" в этой задаче (работе с результатами исследования "как целого") думаю ничего больше нет. А сами техники можно посмотреть в https://cran.r-project.org/web/views/MetaAnalysis.html


Вот например метапакет визуализации результатов
https://cran.r-project.org/web/packages/met...es/metaviz.html

"Итак, формальная постановка задачи".
Уровень постановки задачи определяется уровнем знания самого исследователя. Причём не только знаниями по статистике, но и по знаниям в своей медицинской технологии. Т.е. когда уровни знаний формальные, то и задачи формальные. А когда знания глубокие, причём лишь по одному любому направлению, например по своей технологии, а по статистике не очень глубокие, то и в этом случае задачи описываются весьма глубоко.

"Результаты должны быть формально обобщены. Как?"
Уровни результатов статистического анализа определяются не только знаниями самого медика-исследователя, но и уровнем того специалиста, который как раз и производил эти результаты статистического анализа. Естественно, что специалисты по медицине и специалисты по статистике являются специалистами разного направления. Поскольку медики имеют знания по физиологии и медицине, а статистики имеют знания по математике и статистике.

"Необходимо проанализировав p-value отличия по каждому из параметров, формально определить, различаются-ли эти группы пациентов".
Да, действительно надо анализировать сравнение параметров групп пациентов. Причём таких групп не всегда лишь две, типа "До лечения" и "После лечения". А реально таких групп более двух. И в этом случае нужно производить сравнение как всех групп, причём по всем параметрам, а это не только средних значений количественных признаков, но и частоты качественных признаков. А также производить и попарные сравнения, когда количество сравниваемых подгрупп более двух.

"Третий - у нас один параметр, но тестов мы проводим много..."
Нет, всегда количество параметров не один, а несколько. И это важно помнить и использовать их сравнения по группам. Более того, нужно понимать, что реально по многим признакам имеется статистически значимая взаимосвязь. Причём разной интенсивности. И поэтому в медицинских исследованиях по собираемым базам данных основными задачами является именно улучшение реальных медицинских технологий. И поэтому нужно производить не только сравнение разных нескольких групповых параметров, но также обязательно нужно использовать многомерные методы аналимза. Которые как раз и учитывают наличие многомерных взаимосвязей разных признаков.

"Итак, вопрос. Занимается-ли медстатистика такими задачами... ".
Вот и у меня лет 20 назад тоже возникла подобная задача. В результате я и вышла на связь с НЦ БИОСТАТИСТИКА. И сейчас постоянно связываюсь с ними, и рекомендую ознакомиться с отличными примерами медицинских исследований, примерами программ по статистическому анализу и примерами результатов. Вот эти адреса: http://www.biometrica.tomsk.ru/biostat_2.htm , http://www.biometrica.tomsk.ru/example_4.html , http://www.biometrica.tomsk.ru/biostat_13.htm . К таким адресам направляю и своих студентов и аспирантов. Знаю, что эти специалисты работают не только для медиков, но и для многих иных специалистов, в т.ч. и для техников.

Я и в самом вопросе и во многих моих сообщениях неоднократно подчеркивал - я НЕ медик. И "медицинские технологии" меня интересуют в последнюю очередь. За что я очень ценю этот форум - тут много специалистов именно в статистике, которые успешно применяют свои знания и опыт для решения медицинских задач. Как я свои знания применяю для решения НЕ медицинских задач. И эти специалисты часто в ходе дискуссии высказывают очень интересные и глубокие идеи, которые помогают и мне решать свои НЕ медицинские задачи и которые не попадались мне раньше. Поэтому на рекламируемый вами сайт я не пойду - ну, хотя-бы потому, что был там неоднократно и в общем-то все, что там НЕ медицинское и интересное для меня уже вычитал. Не думаю, что авторы этого сайта помогут мне в решении задач в моей предметной области. (Кстати, в другом вашем сообщении вы написали, что вот только-только нашли этот сайт, а тут уже оказывается 20 лет знакомства. Ну да ладно).
Ваш ответ, уважаемая Med_Elena несомненно очень правильный, полезный для начинающих мед.статистиков, но увы, для меня он полезной нагрузки практически не несет.

А вот уважаемым господам nokh и p2004r - огромное спасибо. Несколько интересных идей (НЕ медицинских :-) ) я уже нашел. Надо будет продумать.
Книжку, рекомендованную nokh , скачал (последнее издание, 95-го года) буду смотреть. Сведение величин эффектов - меня не совсем устраивает, потому как "мои" параметры - это ряд технических данных об одном объекте (явлении) но весьма различной природы. И "болезней" моих объектов достаточно много, причем возможно и их одновременность. А некоторые, к тому-же имеют возможность влиять и даже "подправлять" некоторые анализируемые показатели. Просто "свести" (например, нормировать) - выглядит достаточно традиционно, но трудно обоснуемо. Поэтому и возникла идея сводить через p-values, как более семантически осмысленный подход. Но в любом случае - любая информация в данном направлении интересна.

Идея p2004r перейти к "одностороннему доверительному интервалу" - немного (для меня) неожидана и интересна. Далее можно пытаться выделять кластеры в получившимся многомерном пространстве - и на основании такого анализа делать выводы (задача сопряженная с начальной).. В общем - интересно, стоит подумать. Стиль R-проектов, конечно, немного напрягает - что-бы добраться до идеи надо хорошенько просерфинговать по ссылкам - но ничего, время есть, покопаемся :-). Спасибо за наводку.

Если коллеги не возражают, то со временем я вернусь сюда с очередной порцией уточнений - может еще чего интересного "навеяте". Ну и очень надеюсь, что кто-нибудь еще примет участие в "консилиуме".

По этому пункту навскидку сюда




Это- жесть, как она есть методологически неверно: совместное распределение координат признакового описания объекта изучается методами многомерной статистики. Нельзя с каждой координатой возиться, как котенок с клубком.



Если разными тестами проверяется одна и та же гипотеза, то эта процедура по существу представляет собой такой же статистический ("композитный"- термин мой) тест с неизвестными статистическими свойствами.
Здесь можно применять два подхода:
а) модель "объединения отвержений нулевой гипотезы"
б) модель "пересечения отвержений нулевой гипотезы".
В обоих случаях надо изучать их статистические свойства: состоятельность, несмещенность, способность удерживать заданный (номинальный) уровень ошибки I и мощность.

У меня все.

Да, спасибо. Я уже понял, что проблема потихоньку перетекает в проблему множественной проверки гипотез, причем особенность моих задач - гипотезы разные, выполняются разными тестами но относятся к поведению (состоянию) одного объекта.

Да, в моем плане тут попробовать применить методы из области классификации и кластерного анализа. Разумеется - многомерных.

Спасибо, как раз накопал несколько несколько забугорных источников. Но там расматриваются в основном случаи однотипных гипотез. Буду копать дальше.

Так, может, там не гипотезы надо тестировать, а подгонять модель в пространстве состояний?
Впрочем, без конкретики сложно сказать больше, чем уже сказано...

Да вроде нет :-).
Представьте - на медицинском примере - у вас один пациент, о котором вы получаете множество разных параметров - температура, давление, сахар... бла-бла-бла.
Каждый параметр - это временной ряд. По каждому временному ряду В КАЖДЫЙ ВРЕМЕННОЙ ПЕРИОД вы можете снять некоторую статистику - от элементарных средних, дисперсии и пр, до параметров моделей ARIMA, Х-В, и т.д. Некоторые параметры могут быть ранговыми, а некоторые - даже номинальными - но и для них можно снять некоторую (свою) статистику.
Итого - у нас в наличии очень многомерное пространство, в котором состояние объекта за данный период времени - это точка, а координаты ее - это значение измеренных статистик.
Теперь наступил следующий период времени, мы вновь насчитали статистики, т.е. получили вторую точку в том-же пространстве..
Затем можно сразу пытаться понять принадлежат-ли эти две точки одному кластеру. Но тут стоит вопрос - как увязать совершенно разнотипные параметры, как обосновать это различие.
Как я писал - можно пытаться нормировать все параметры. Традиционно, но семантически не совсем прозрачно. Можно в качестве меры близости использовать меры от Евклида до косинуса, но это детали.
Другой путь - рассматривать не сами параметры, а их изменения, причем не абсолютные, а как p-value тестов на различие этих значений статистики в последовательные периоды времени.
Теперь мы перешли в другое пространство, где каждая точка имеет координаты в пределах от 0 до 1, причем это семантически ясные значения, и теперь точка этого пространства - это показательизменения состояния нашего пациента между интервалами наблюдения.
Вот такая цепочка рассуждения приводит к тому, что нам надо сказать - изменение состояния, выраженное в координатах пространства значений p-values значимо или нет.
Т.е. мы можем говорить, что состояние пациента изменилось и с какой значимостью, или нет.
Еще более обще - наблюдается-ли некоторая аномалия в состоянии "пациента". (Аномалии могут быть выражены не только изменения базовых статистик, но и быть контекстно-зависимыми, групповыми и т.д. - но это отдельная тема, которую я тут пока даже не затрагиваю).
Кроме того, как я указал, мой "пациент" может вести себя настолько плохо, что может даже пытаться замаскировать некоторые параметры так, что-бы затруднить обнаружение его изменения - но это тоже другая тема, которую я я пока выношу за скобки.
Вот как-то примерно так.

Т.е. у нас есть некий многомерный временной ряд (координаты признакового описания объекта эволюционируют во времени), и в каждом сечении этого процесса мы хотели бы убедиться в том, что его вероятностные характеристики неизменны во времени (стационарны в узком/широком смысле слова)? Но тогда это - просто некая многомерная задача о разладке.

Да, близко к этому. Но классическая "разладка", та, которая тянется с теории надежности - работает либо по threshold, либо в лучшем случае по 3-м Сигмам. И то и другое - "не вкусно". С точки зрения статистики - требует жестких обоснований. Методы типа Бродского-Дарховского требуют выпонения жестких условий, которые как правило в реальной жизни нарушаются. И пр.пр.пр. Причем, если ряд становится многомерным, то все становиться совсем грустно.
Ну и еще одно - мне надо сравнивать не одномоментный "срез" рядов, а срез статистик за некоторый период наблюдения. Т.е. "пациент" объявляется больным НЕ если у него зафиксирован скачек сахара за 3 Сигмы, а если за определенный период времени зафиксированы подъем уровня сахара, изменения среднеквадратичного отклонения наполняемости кровеносной системы, средний интервал между ударами сердца и цвет губ был чаще синим, чем красным (Ой, да простят меня медики и, я понимаю, что для вас это звучит ересью наверняка, не надо бросать в меня тапками.... я просто хочу растолковать суть и провести аналогию, не вдаваясь в подробности моей предметной области). И вот зафиксировав такие изменения мы принимаем решение о состоянии пациента. Про то, что он, "гад", еще и может у нас некоторые данные фальсифицировать - я уже тоже упоминал.
Но в общем да, многомерные ряды, стримминг-кластеризация с дрейфом и забыванием, "разладка" - а точнее Change Points, Anomaly and Outliers Detection и пр. И все это часто в режиме "он-лайн" и частотой фиксации параметров - несколько сотен или тысяч в секунду (хотя это вот не всегда так жестко, как раз).

Ну, крутенько, в общем-то замешиваете. Про многомерные обобщения тестов на единичный корень (равно как и тестов на Change Point) не читывал и поэтому навскидку не могу сказать, насколько корректно делать все это покоординатно.
И есть еще соображение-опасение: в имеющемся временном ряду можно (опять же, покоординатно) оценить условную по имеющейся предыстории 95%-ную квантиль, при пробое которой можно поднимать тревогу. Так делают при расчете показателя VaR в финансовых рядах. Однако тут надо опасаться "ложных" пробоев.

Спасибо. Подумаю над этим.

passant, Вы не медик, а какой специалист? Мне интересно поговорить с Вами и по иному направлению.

В данный момент я занимаюсь вопросами применения методов ML в Cybersecurity.

Нажмите для просмотра прикрепленного файла
ОК! В приложении высылаю Вам книгу "Data Mining and Machine Learning in Cybersecurity". Когда я обращалась за помощью в БИОМЕТРИКУ, то при выполнении моего исследования они высылали мне много книг по статистике и математике. Также знаю, что автор этого сайта является техником и математиком, и написанные им книги тоже по статистике и технике. Мой муж тоже обращался к ним по своему исследованию, и тогда он мне рассказывал, что этот автор в прошлом веке защищал свою диссертацию в Москве. Вот и сейчас он вместе с коллегами делает работы не только для медиков, но и для социологов, биологов, техников, и т.д.
Желаю успеха!

[Moderator on]
Категорически не рекомендую выкладывать в публичном доступе полностью объекты, защищаемые авторским правом. Издательство или правообладатели могут предпринять ответные действия. Отправьте - если уж так хочется - в личку страждущему.
[Moderator off]

Спасибо, конечно. Если вы про книгу Sumeet Dua и Xian Du, то я ее конечно читал. С тех пор (с 2011) года вышло еще несколько очень приличных книг по теме. И приходиться постоянно держать руку на пульсе. Поэтому если что кому надо из книг по статистике, ML, DataScience, Deep Lerning - можете обращаться, чем смогу помогу (и Боже упаси при этом нарушить авторские права ) . Что такое \"БИОМЕТРИКА\" я не понял, но если это тот-же сайт, что и не несколько постов выше - то спасибо, я уже писал, что \"вынес\" с того сайта все, что мне может быть новым и интересным. ::

.....