Добрый день, уважаемые коллеги. Подскажите пожалуйста, каким образом можно обработать результаты проведенного исследования.
Цель исследования заключалась в том, чтобы доказать, что в определенной больнице кодироание диагнозов по МКБ осуществляется некорректно.
Для этого была выбрана группа интересующих нас диагнозов за последние два года, таким образом получилось что-то подобное:
КодМКБ1 - 150 человек
КодМКБ2 - 3 человека
КодМКБ3 - 250 человек
и т.д.
Далее в течение трех месяцев детально обследовались люди, которые лежали в тот момент в стационаре, им ставился корректный диагноз, соответственно получился еще один ряд значений:
КодМКБ1 - 0 человек
КодМКБ2 - 20 человек
и т.д.
Можно ли сделать вывод на основании подобных данных о корректности кодировки диагноза за последние два года и если да, то каким образом провести анализ.

Группу по данным прошедших двух лет используете для генерации кучи случайных выборок размером в тестовую группу "углубленной постановки диагноза". Для всех диагнозов которые ставились в больнице за последние два года получаете доверительные границы, например посчитав куда попадают перцентили 2.5 и 98.5 для соответствующего диагноза.

Конечно если углубленной диагностике принципиально подвергался ограниченный по диагнозу набор больных, то аналогично должен быть ограничен и набор исторических данных. Хотя здесь надо хорошо подумать, лучше что бы никакой цензуры по диагнозам не велось (иначе можно семплер правдоподобный не родить).

(У вас - зависимые выборки, т.к. один и тот же человек присутствует одновремнно в двух диагностиках. Критерии типа хи-квадрат здесь не уместны, зависимые частоты сравниваются критериями на симметрию. Суть примерно такова. Создаётся таблица, где по строкам располагаются диагнозы истинные, а в колонках - те же названия для диагнозов, но выставленных в клинике. Она заполняется абсолютными частотами (в штуках) конкретных случаев диагностики (не сгруппированных как у вас). Если клиника выставляет диагнозы со 100%-ной точностью, то все значения окажутся на диагонали такой таблицы. Если есть ошибки диагностики, то чем их больше, тем меньше будет значений на диагонали таблицы (истинный и выставленный диагнозы совпадают), и тем больше их станет над и под диагональю (истинный и выставленный диагнозы не совпадают). Такая таблица позволит наглядно отобразить какие диагнозы выставляются неправильно и с чем путаются. Обсчитать статистическую значимость различий в диагностике целиком по такой таблице можно с помощью критерия Бокера (Bowker's test of symmetry). Однако не будет ответа по отдельным диагнозам.
Далее можно разделить задачу на несколько - по числу конкретных диагнозов. Принцип организации таблиц - тот же, но только строк и столбцов -2: КодМКБ1 и Прочие коды - одна таблица, КодМКБ2 и Прочие коды - вторая таблица и т.д. Такие таблицы обычно анализируют критерием Мак-Немара (McNemar's test); материалов в сети много, обсуждался и на этом фуруме.
Т.о. для статистического анализа выших данных нужны правильно заполненные таблицы. Если сведёте данные как надо - поищем программу. А по приведённым вами суммарным данным можно посчитать только % несоответствий по каждому диагнозу, нельзя даже сказать что с чем и как часто путается.)

>p2004r. Идея рандомизационного теста понятна, но идея очень голая, её бы одеть в какой-нибудь код:)

Задача понята мной неверно, пост не стираю, но беру в скобки.

Косметическая поправка - 97.5

Пусть за два года получили 10 диагнозов A , 50 B, 150 C.



чёртова табуляция

По сути дела quantile() считают по строчкам вот такого результата перевыборок:



PS опять 98.5 написал пора спать

PPS надо приучить себя к практике писать 100-5/2

PPPS у sample() пропустил ключ replace = TRUE

Они не смогут такие данные получить, никто не будет "прилюдно" ставить окончательный диагноз. А ретроспективу тут даже патологоанатом не обеспечит . Ну и основная идея, как я понял, что бы по несвязанным выборкам (по разным людям) сказать по чему именно идет гипердиагностика, по чему гиподиагностика, и сделать это обоснованно.

Да, идея как раз такая, попробую осмыслить все сказанное.

(Не согласен. Пока не будет построена большая таблица именно так, как я расписал выше - никаких выводов о том что с чем путается и насколько они сделать не смогут. И я думал о рандомизации применительно именно к такой таблице. Она имела бы преимущество перед тестами Бокера, Максвела и т.п., т.к. не опиралась бы на известные распределения. Ну а, собственно, грамотный статистический анализ никаком образом не подразумевает прилюдного оглашения его результатов. Должны быть сделаны обоснованные выводы и приняты обоснованные управленческие решения. Можно по-тихому .)

Задача понята мной неверно, пост не стираю, но беру в скобки.

это выливается в дублирование всей диагностики в больнице + (такое нельзя спрятать) полный паралич выставления окончательных диагнозов (думаю всё будет выноситься консилиумами после 12 последовательных консультаций с дообследованиями )

ну и смотрите какая моральная дилемма --- выставляют диагноз и мы знаем что он "не правильный".... его скрыть невозможно, иначе это эксперименты над людьми.

Что-то я затупил! Прошу прощения! Видимо невнимательно прочитал. Люди действительно разные: те что лежат сейчас и те, что лежали за последние 2 года. Предыдущие посты отменяются. Всё оказывается куда проще. Можно обычным хи-квадратом сравнить. Или рандомизацией. Ещё желательно для разностей частот по каждому диагнозу рассчитать 95%-ные доверительные интервалы. Завтра ссылку на онлайновый калькулятор для этого поищу!

ну тогда, я бы лучше еще дополнительно "разности" и "суммы" построил бутстрепом

при выпадении чего то из доверительного интервала сразу станет ясно с чем проблемы.

Или можно сразу смотреть на результат эксперимента вот в таком пространстве помещая туда "результат проверки-инспекции" с помощью predict()

Пространство отражает факт что три показателя являются фиксированной суммой. и число степеней свободы в данном случае 2. Если случай смеси 3х компонент можно легко отразить на стандартном графике смеси, то если "диагнозов" больше трех (ну и "контрольные выборки" разного размера), то удобнее смотреть в PCA (мы увидим "гиперпирамиду" перевыборок и точки "контрольных выборок").



PS надо наконец освоить генерацию мультипликационных гифов, а то так по фиксированным снимкам боюсь большинство не поймет "полета мысли"

Вот "дополнительные слои" в пирамиду Оценка для размеров контрольной выборки в 10 и 60 случаев

Подход, предлагаемый р2004r, буду осмысливать по мере появления времени. Более традиционный подход таков:
Например, было за 2 года:
КодМКБ1 - 150
КодМКБ2 - 3
КодМКБ3 - 250
Всего: 150+3+250=403
Верифицированы:
КодМКБ1 - 0
КодМКБ2 - 20
КодМКБ3 - 100
Всего: 0+20+100=120

Рассчитаем различия в диагностике КодМКБ1.

1) Расчёт средней частоты диагноза в группах. Калькулятор для расчёта точного 95%-ного интервала для частот методом Клоппера - Пирсона: http://statpages.org/confint.html
В группе 1: x=150, N=403. Средняя частота диагноза = 37,22% (95% ДИ: 32,49 - 42,14)
В группе 2: x=0, N=120. Средняя частота диагноза = 0,00% (95% ДИ: 0,00 - 0,03)

2)Расчёт разности частот.
В группе 1: есть - 150, нет - 403-150=253
В группе 2: есть -0, нет -120-0=120.

http://department.obg.cuhk.edu.hk/research...t_2x2_table.asp . Вбиваем таблицу:
150 0
253 120

Results:
Chi.Sq=60.8204; df=1; p=0.0000
Prop 1=0.3722; Prop 2=0.0000;
Diff=0.3722; SE(p1-p2)=0.0241 ;
95%CL=0.3250-0.4194;

Разность: 37,22% (955 ДИ: 32,50-41,94). Т.к. ДИ не содержит нуля - различия в частотах статистически значимы. Об этом же говорит и критерий хи-квадрат.

>p2004r. Буду признателен за ссылки на материал по ресэмплингу для композиционых данных и "гиперпирамиды".

Особых ссылок нет, все элементы "классика ML" против которой возражений как бы и нет.

Предполагается что каждое наблюдение измеренное по нескольким характеристикам это точка в пространстве образованном осями этих характеристик. (Номинальные и ранговые шкалы сводятся к наборам шкалам "0-1".) Это пространство может быть приведено в некий "канонический вид", в котором шкалы-оси взаимно независимы (иначе говоря ортогональны). Некий минимальный набор этих ортогональных осей описывает "простую структуру" --- аля "state-space" представление оригинальной системы. Мы фактически идентифицировали (вернее получили линейную аппроксимацию) системы которая ведет себя "также как наша", но описание которой существенно проще.

1) Мои личные рассуждения и взгляд на сущность наблюдения за системой следующие.

Теория этого дела, это хорошо освещенное в литературе svd разложения матрицы Хенкеля (или аналогичных ей матриц). Традиционно матрицы Хенкеля всех входов и выходов наблюдаемой системы склеивают cbind() и делают svd разложение, на выходе state-space описание идентифицируемой системы из которого в принципе можно получить параметры идентифицируемой системы. Как легко видно из описанного, простое традиционное наблюдение за системой в случайные моменты времени фактически дает нам "перемешанную по строкам" такую составную по наблюдаемым "входам-выходам" матрицу Хенкеля "с окном вырожденной единичной длинны". Ну для svd разложения совершенно всё равно в каком порядке поданы строки и столбцы На выходе мы получаем аппроксимацию изучаемой системы и остается только отбросить незначащие компоненты. (При необходимости можно произвести обратную проекцию, правда будут получены уще смещенные оценки, но их довольно легко нормировать).

Ссылки можно почитать (кроме википедии про матрицу Хенкеля и state space представление систем) это

https://faculty.washington.edu/mfazel/Hankelrm23.pdf
ftp://ftp.esat.kuleuven.be/sista/ida/reports/87-29.pdf

Последний присоединяю просто


2) Ну и размерность системы в этом пространстве естественно полностью определяется степенями свободы. Если наблюдаем сумму, то естественно получаем "пирамиду". Если наблюдаем сумму "фиксированного размера" --- наблюдаем "треугольный срез" этой "пирамиды". Геометрия .

Благодарю! скопировал все себе, буду разбираться по-возможности.

"nokh: Можно обычным хи-квадратом сравнить"
т.е. использовать таблицу сопряжённости: 2 (больница, стационар) на n (МКБ1, МКБ2 ... МКБn)

Спасибо большое, за столь подробное обсуждение.
Я выполнил расчет разности частот и ДИ, получились следующие данные (столбцы соответственно -- количество диагнозов за последние два года, количество диагнозов за последние два месяца, средняя разность частот, 95% ДИ) -- см. скриншот во вложении.
Нажмите для просмотра прикрепленного файла

Верно ли я интерпретирую данные: выделенные красным строки соответствуют кодам с гипердиагностикой, а синим с гиподиагностикой, белые -- корректная кодировка диагнозов. Можно ли сделать еще какие-либо выводы по данной таблице?

И еще, поясните, пожалуйста, три момента:
1. Какой математический смысл имеет средняя разница частот (столбец 3), о чем нам говорит полученная цифра и влияет ли она каким-либо образом на интерпретацию результатов?
2. Как лучше представить данные в статье -- в виде такой же таблицы?
3. Цифры были получены, используя он-лайн калькулятор, на который выше давали ссылку, умножив полученный результат на 100, т.е. переведя в проценты. Для чего это преобразование выполнено и как корректно озаглавить столбцы 3 и 4 -- средняя разница частот и 95% доверительный интервал?

Интерпретация верная.
1. Помимо вывода о статистической значимости различий необходима также оценка величины эффекта, а в вашем случае - ещё и направления. Т.к. статистически значимые разницы в 3%, в 30% или в 300% - всё-таки совсем разные вещи. Поэтому в итоговой таблице я бы ранжировал все диагнозы внутри групп завышения и занижения оценок по степени различий: от самых сильных, до самых слабых.
2. Первая колонка - диагноз, вторая - абсолютная частота (в шт.), относительная (в %) и с 95% ДИ для одной группы данных, третья - то же для другой группы данных, четвёртая - разность частот с 95% ДИ.
3. Никаких преобразований данных вы не использовали! Только расчёт ДИ. Грамотнее не "разница", а "разность", и она не средняя, поэтому просто "Разность частот (95% ДИ)".

Всем огромное спасибо за обсуждение!