Построение таблиц сопряженности с пакете Статистика 6.0 Опции

[Pyrosmani]

Уважаемые коллеги! Подскажите пожалуйста, как построить таблицы кросстабуляции в пакете Статистика 6.0. В Excel приходится вводить формулы, что несколько затрудняет работу. В большинстве литературных источников построения в Статистике 6.0 ограничиваются примером четырехпольной таблицы. Подскажите можно ли строить таблицы, в которых учитывается более 2 значений для каждого признака ( прим.1) в модуле Таблицы сопряженности и как это сделать. В книге Ребровой О.Ю. не рассматриваются примеры построения таблиц с числом строк и столбцов более 2 (без итоговых) при наличии известных значений наблюдаемых частот, и предлагается воспользоваться модулем Логлинейный анализ.
Как рассчитать хи-квадрат для случаев, когда частоты меньше 5 или равны 0(прим.2). И подскажите, как перенести наблюдаемые и ожидаемые частоты из Эксель(указываются на одном листе) в Статистику (файл2).

Я еще прикрепил пару задач (в файле1), взятых из методичек для ВУЗов и прошу, если есть возможность и время, описать алгоритм их решения и построения таблиц кросстабуляции в Статистика 6.0, чтобы понять как решать подобные задачи применительно к результатам моего исследования.

Прикрепленные файлы

 Результаты_лечения.doc ( 163 килобайт ) Кол-во скачиваний: 1260
 как_перенести_данные_из_Эксель_в_Статистику6.0_.doc ( 32 килобайт ) Кол-во скачиваний: 1136

 

[nokh]

Все категории делятся на номинальные (нельзя упорядочить) и упорядоченные (соответственно можно упорядочить ). Все ваши категории можно упорядочить - выстроить в каком-то направлении. А, скажем, различные нозологии или диагностические процедуры - нельзя, это - номинальные категории. Посмотрите еще тему, на которую я давал ссылку, там плав объяснял почему важно учитывать упорядоченность.
Общая схема анализа в присутствии упорядоченности будет такова:
1). Определиться насколько слабонасыщена таблица. Считается, что для критериев хи-квадрат (Chi-square) и G-критерия (отношение максимального правдоподобия - Likelihood ratio) минимальные ожидаемые не должны быть меньше 4, иначе эти критерии "плохо работают". Насколько плохо - зависит также от числа степеней свободы, поэтому лучше использовать более тонкие специализированные методы. Поставьте программу AtteStat ( http://attestatsoft.narod.ru/download.htm ), в Excel добавится её меню. Набейте таблицу абсолютных частот без краевых частот (сумм по строкам и рядам), т.е. для первой таблицы - 4 строки и 6 колонок. В модуле Кросстабуляция отметьте хи-квадрат, отношение правдоподобия (G-критерий) и обе диагностики - они подскажут можно ли использовать эти критерии (см. помощь). Если нельзя - нужно смотреть точными методами в StatXact (Non-Parametrics - Unordered RxC table - Chi-square и Likelihood ratio).
2). Посмотреть таблицу критерием типа хи-квадрат, лучше G-критерием. Этот критерий - полный аналог хи-квадрата и имеет теоретическое распределение хи-квадрат, однако более современный и хорошо обоснован теоретически в отличие от столетнего пирсоновского хи-квадрата. Поэтому везде где возможно его следует применять вместо хи-квадрата. Единственное исключение - если научный руководитель пожилой и встаёт на дыбы, т.к. его учили хи-квадрату, а от нового у него мозг взорвётся. Если тест окажется незначимым - не страшно, возможно просто не хватило мощности, т.к. число степеней свободы (degree of freedom = df) относительно велико (у Вас: df=(4-1)х(6-1)=15). Если значим - нужно разбираться за счёт чего, но здесь потребуется другой софт.
3). Проанализировать таблицу на тренд. В этом случае единицей анализа будет уже не ячейка таблицы (df=15), а один единственный тренд (df=1). Отсюда - большой выигрыш по мощности. Обязательно прочитайте сначала про это у Закса ( http://www.onlinedisk.ru/file/205482/ ), стр. 440. Также про критерий Вулфа и информационный критерий Кульбака (стр. 318-336 и стр. 444) - это и есть G-критерий. Аналог описанной проверки на тренд есть в StatXact. Нажмите в ней на вторую иконку (таблица) и подкорректируйте Setting: рядов - 4, колонок - 6, также нужно поставить обе галочки в Scores, т.к. у вас упорядочены и ряды и колонки. Получите таблицу, которую нужно заполнить. Веса упорядоченности можно выбрать просто 1,2,3 и.т.д., можно иначе. Далее Non-Parametrics - Double ordered RxC table. Проверьте обоими тестами, но Linear-by-linear assosiation - примерно то, что описано у Закса. Отрицательный знак статистики укажет на отрицательную связь, положительный - на положительную. Т.е. если вы закодировали оценки от 1 (неуд) до 4 (отл), а время начала процедуры - от 1 до 6, то отриц. статистически значимая связь укажет на то, что "чем больше время, тем ниже оценка".
4). По (2) и (3) можно сделать предварительные выводы и далее разбираться в тонкостях. В выходные покажу как это делать с помощью Statistica. Также почитайте пока у Ребровой про отношение шансов - понадобиться когда будем сворачивать исходную таблицу.

Сообщение отредактировал nokh - 13.02.2010 - 06:23

[Pyrosmani]

1). Определиться насколько слабонасыщена таблица. Считается, что для критериев хи-квадрат (Chi-square) и G-критерия (отношение максимального правдоподобия - Likelihood ratio) минимальные ожидаемые не должны быть меньше 4, иначе эти критерии "плохо работают". Насколько плохо - зависит также от числа степеней свободы, поэтому лучше использовать более тонкие специализированные методы.

.

Что касается минимальных ожидаемых сходную информацию дают и Реброва и Закс (большое спасибо за ссылку! сейчас изучаю). Моя ошибка состояла в том, что я полагал- значение наблюдаемых частот не должно быть меньше 5. Такие условия применения метода приводит В.М.Зайцев и соавт. в книге "Прикладная математическая статистика" изд-во, "Фолиант", СПтб-2003г, стр.256. Условие применимости по www.machinelearning.ru/wiki/index.php?title...сопряженности Eij<5 не более чем в 20% ячеек n>40 . При расчете в Excel ожидаемых частот у меня тоже по 1 табл. в ряде ячеек значения меньше 4, а то и меньше 1.

Посмотреть таблицу критерием типа хи-квадрат, лучше G-критерием. Этот критерий - полный аналог хи-квадрата и имеет теоретическое распределение хи-квадрат, однако более современный и хорошо обоснован теоретически в отличие от столетнего пирсоновского хи-квадрата. Поэтому везде где возможно его следует применять вместо хи-квадрата. Единственное исключение - если научный руководитель пожилой и встаёт на дыбы, т.к. его учили хи-квадрату, а от нового у него мозг взорвётся. Если тест окажется незначимым - не страшно, возможно просто не хватило мощности, т.к. число степеней свободы (degree of freedom = df) относительно велико (у Вас: df=(4-1)х(6-1)=15). Если значим - нужно разбираться за счёт чего, но здесь потребуется другой софт.

Посмотрел обоими критериями, данные в файлах, сейчас попытаюсь посмотреть что предлагается в Заксе по ручному расчету критерия G. Кроме того, я решил если не получется проанализировать хи-квадрат, как того требуют условия, объединить сроки лечения в две группы: 1до 2 мес, и 3 и более мес (результаты тоже прикрепил в файлах - My Experim), тут у меня возникает закономерный вопрос, если по результатам расчетов р меньше 0,001 ( у меня в ряде случаев- 0,0001 и того меньше, как трактовать данные где р стремится к нулю (0,00001; 0,000001; 0,0000001) и что делать принимать нулевую гипотезу об отсутствии связи между результатом лечения и временем начала бужирования или отклонить ее. Кстати, по тому алгоритму который вы дали можно наверное сразу считать и строить таблицы в StatExact, в конечном итоге результаты по расчетам в нем и в Аттестате получаются одни и те же. Единственное, в чем пока не разобрался как в Атттестате задается величина р=0,05 или она по умолчанию в нем принята для расчетов и надо ли что-то менять в опции параметры указанных методов в Аттестате(файл - tab2 calc). Этот вопрос актуален и для тех, кто работает в Эксель. Я, например, считал в Эксель ожидаемые частоты. По крайней мере Реброва указывает, что расчет их должен обязательно предшествовать дальнейшим этапам статистич. обработки при вычислении хи-квадрат. Но к сожалению здесь, есть одна закавыка- необходимость введения формул ( но и это не так страшно), куда более сложно проводить трактовку результатов. Попытаюсь разобраться с результатами по G.

Проанализировать таблицу на тренд. В этом случае единицей анализа будет уже не ячейка таблицы (df=15), а один единственный тренд (df=1). Отсюда - большой выигрыш по мощности. Обязательно прочитайте сначала про это у Закса ( http://www.onlinedisk.ru/file/205482/ ), стр. 440. Также про критерий Вулфа и информационный критерий Кульбака (стр. 318-336 и стр. 444) - это и есть G-критерий. Аналог описанной проверки на тренд есть в StatXact. Нажмите в ней на вторую иконку (таблица) и подкорректируйте Setting: рядов - 4, колонок - 6, также нужно поставить обе галочки в Scores, т.к. у вас упорядочены и ряды и колонки. Получите таблицу, которую нужно заполнить. Веса упорядоченности можно выбрать просто 1,2,3 и.т.д., можно иначе. Далее Non-Parametrics - Double ordered RxC table. Проверьте обоими тестами, но Linear-by-linear assosiation - примерно то, что описано у Закса. Отрицательный знак статистики укажет на отрицательную связь, положительный - на положительную. Т.е. если вы закодировали оценки от 1 (неуд) до 4 (отл), а время начала процедуры - от 1 до 6, то отриц. статистически значимая связь укажет на то, что "чем больше время, тем ниже оценка".

Оба теста выполнил, но затрудняюсь в трактовке результатов ( приложены в файлах по обеим таблицам), особенно что касается отрицательного и положительного знака статистик.

Прикрепленные файлы

 tab1.rar ( 552,14 килобайт ) Кол-во скачиваний: 741
 tab2.rar ( 338,22 килобайт ) Кол-во скачиваний: 669
 tab___2_My_Experim.rar ( 211,24 килобайт ) Кол-во скачиваний: 559
 _1_table_data_My_Experim.rar ( 259,41 килобайт ) Кол-во скачиваний: 571
 tab1_Excel.rar ( 429,06 килобайт ) Кол-во скачиваний: 651

 

[nokh]

1. По расчёту ожидаемых. Действительно, оба критерия нуждаются в предварительном расчёте ожидаемых - для дальнейших расчётов самих критериев. Но любое действие должно иметь цель. Какую цель Вы преследуете рассчитывая ожидаемые, причём даже более сложным путём, чем это можно сделать с калькулятором и листочком бумаги? Зачем вам эти цифры в Excel? Как используете затем эти данные? Если никак - то и не нужно их считать, доверьтесь программе. К слову, если таблица частот не двумерная как у Вас, а трёх- или более мерная (например, одновременно: время начала бужирования, пол пациента и оценка успешности исхода лечения), то расчёт ожидаемых частот по итерационному алгоритму Деминга-Стефана займёт у вас несколько часов (баловался как-то), а с проверкой - все несколько дней.
2. По ограничениям методов. Никаких ошибок Вы ещё не сделали. Меньше 4, меньше 5, 20% и т.д. - это всё вата. Это - простые решения для тех, кому нужно неглубоко и быстро. Я знаю ещё 2-3 рекомендации и что со всем этим делать? Диагностики, присутствующие в AtteStat позволяют обоснованно принять решение о (не)допустимости аппроксимации решения статистикой хи-квадрат. Если допустима - считаем, не обращая внимания на меньше 4, на ноли и т.д. в любом пакете или вручную. Если недопустима - считаем точными перестановочными (permutation) методами в пакете StatXact (или в SAS, считающем это по лицензии Cytel StatXact. Другие пакеты мне неизвестны, в R это кажется можно посчитать только для таблиц 2х2). Значение критерия получится одинаковым в любом случае, а вот значение Р будет разным: с использованием аппроксимации - менее точным. Точный расчёт P - наиболее правильное и точное решение для любой таблицы сопряжённости и здесь нет проблемы минимального ожидаемого, т.к. вероятности считаются напрямую, перебором всех вариантов. Если StatXact не сможет "переварить" таблицу сопряжённости точным методом (бывает нужно минут 20) - используйте ресэмплинг-метод Монте-Карло - хуже чем точное решение, но всяко лучше чем асимптотика. Потом укажете в материалах и методах (статьи, диссертации) что использовали в расчётах пакет StatXact и этого достаточно, кто в теме - поймут. С диссертационным советом сложнее - все могут быть не в теме и начать придираться к нулям - вы должны быть готовы аргументированно ответить. Объединение ячеек - выход, для тех, у кого нет StatXact, но во-первых такой подход предполагает огрубление исходных данных, что не есть хорошо, а во-вторых, StatXact у вас ведь уже есть:).
3. По оценке P. Поскольку в литературе есть неразбериха (смешиваются и переплетаются P-value в понимании Фишера и уровень значимости "альфа" в понимании Пирсона и Неймана) то придётся ответить, но почитайте и Закса и Реброву (стр. 64) по принципам проверки гипотез. P - непрямая мера оценки вероятности нулевой гипотезы и представляет собой вероятность наблюдать имеющиеся или ещё более экстремальные данные при условии справедливости нулевой гипотезы. Т.к. в статистическом оценивании "по техническим причинам" всегда проверяется нулевая гипотеза (нет различий, нет связей, нет зависимостей), то часто наша гипотеза доказывается методом от противного. Скажем мы хотим доказать, что существует связь между временем начала бужирования и оценкой результата. Мы выдвигаем нулевую гипотезу - такой связи нет - и проверяем её с помощью к/л статистического критерия с получением оценки Р. Если Р будет мало, скажем меньше 5% (P<0,05) мы говорим: "вероятность нулевой гипотезы ("связи нет") мала, поэтому мы её отклоним и примем альтернативную: "связь есть"". Типичное доказательство от противного. Т.е. в современном научном подходе мы не можем подтвердить свою гипотезу, мы можем только отклонить нулевую на выбранном уровне значимости и с натяжкой считать это доказательством. Пока мы её не отклонили - она остаётся в силе; в этом - одна из причин консерватизма научного метода. Если в к/л книге (есть такие) вы прочтёте, что P<0.05 на самом деле означает, что с вероятностью 95% верна ваша гипотеза - сдавайте её обратно в библиотеку или стирайте с винта, каламбур таков: ничему научному она не научит. 5% - не волшебное и не научное число, просто люди договорились считать малым то, что меньше или равно 5%. Такое граничное значение называется уровнем значимости. Иногда 5%-ный уровень значимости слишком строг, иногда слишком либерален. Если P<0,0000001, то такая нулевая гипотеза ещё менее правдоподобна, соответственно более правдоподобна альтернативная. Следовательно P=0.05 нигде не задаётся, ни в одном пакете или тесте; число 0,05 может понадобиться вам только для планирования объёмов выборок: понятно, что если вы хотите доказать наличие связи на 1%-ном уровне значимости понадобится больше наблюдений, чем для 5%-ного у.з.
4. Проверка на тренд. А как Вы закодировали веса для данных? Разве так как собирались (1-неуд, 4-отл.)? Вы их закодировали наоборот, т.е. чем больше балл, тем хуже оценка. Чтобы не путаться - перекодируйте их в соответствующем месте в StatXact в привычную для интерпретации шкалу и проинтерпретируйте.

Попробуйте опираясь на проведённые тесты самостоятельно сформулировать предварительные выводы - так как они будут звучать в публикации (диссертации) или можно более подробно. Потом подправим. Я имею в виду только первую таблицу, вторую потом проанализируете самостоятельно.

Сообщение отредактировал nokh - 15.02.2010 - 01:32

[Pyrosmani]

1. По расчёту ожидаемых. Действительно, оба критерия нуждаются в предварительном расчёте ожидаемых - для дальнейших расчётов самих критериев. Но любое действие должно иметь цель. Какую цель Вы преследуете рассчитывая ожидаемые, причём даже более сложным путём, чем это можно сделать с калькулятором и листочком бумаги? Зачем вам эти цифры в Excel? Как используете затем эти данные? Если никак - то и не нужно их считать, доверьтесь программе. К слову, если таблица частот не двумерная как у Вас, а трёх- или более мерная (например, одновременно: время начала бужирования, пол пациента и оценка успешности исхода лечения), то расчёт ожидаемых частот по итерационному алгоритму Деминга-Стефана займёт у вас несколько часов (баловался как-то), а с проверкой - все несколько дней.

. Я тоже, если честно побаловался- имею ввиду расчеты в Эксель (собственно я писал, что именно в Эксель начинал считать результаты), так получилось что первыми книгами по статистике были именно Реброва и уже упоминавшийся мною Зайцев, которые я приобрел еще в институте. В данном случае интерес к Excel был продиктован еще и разными ( по крайней мере так мне показалось) алгоритмами расчета в этом пакете которые изложены у Зайцева и в книге С.Н. Лапача "Статистические методы в медико-биологических исследованиях с использованием Excel" Киев, "Морион"- 2001г. Правда некоторые формулы, приведенные в последней книге и результаты указанные на рисунках разнятся с теми данными, которые приводят сами авторы и которые получаются если считать по Зайцеву. Поэтому и любопытство тоже. Кстати в отличие от Зайцева в Лапаче при расчете табличного значения хи-квадрат в формулу вводится значение р=0,05. Поэтому у меня и возник этот вопрос насчет Аттестата и др. программ.

2. По ограничениям методов. Никаких ошибок Вы ещё не сделали. Меньше 4, меньше 5, 20% и т.д. - это всё вата. Это - простые решения для тех, кому нужно неглубоко и быстро. Я знаю ещё 2-3 рекомендации и что со всем этим делать? Диагностики, присутствующие в AtteStat позволяют обоснованно принять решение о (не)допустимости аппроксимации решения статистикой хи-квадрат. Если допустима - считаем, не обращая внимания на меньше 4, на ноли и т.д. в любом пакете или вручную. Если недопустима - считаем точными перестановочными (permutation) методами в пакете StatXact (или в SAS, считающем это по лицензии Cytel StatXact. Другие пакеты мне неизвестны, в R это кажется можно посчитать только для таблиц 2х2). Значение критерия получится одинаковым в любом случае, а вот значение Р будет разным: с использованием аппроксимации - менее точным. Точный расчёт P - наиболее правильное и точное решение для любой таблицы сопряжённости и здесь нет проблемы минимального ожидаемого, т.к. не используется аппроксимация. Укажете в материалах и методах (статьи, диссертации) что использовали в расчётах StatXact и этого достаточно, кто в теме - поймут. С диссертационным советом сложнее - все могут быть не в теме и начать придираться к нулям - вы должны быть готовы аргументированно ответить. Объединение ячеек - выход, для тех, у кого нет StatXact, но во-первых такой подход предполагает огрубление исходных данных, что не есть хорошо, а во-вторых, StatXact у вас ведь уже есть.

Вы правы насчет диссертационного совета и людей, которые не в теме к сожалению много. С этим я столкнулся, когда сдавал аннотацию и проходил этический комитет. К сожалению количество специалистов в такого рода комитетах много меньше, чем должностных лиц и представителей духовенства, которые в силу специфики своей повседневной деятельности не могут оценить перспективности проводимого исследования для дальнейшего развития медицины. Что касается вымарывания нулей, которое я не раз встречал, анализируя диссертационные работы как кандидатов, так и докторов наук. Тут, наверное, как правильно заметил Игорь, проблема в том, что не каждый готов разбираться со статистическими методами и зачастую предпочитают воспользоваться услугами специалиста и получить уже готовые результаты, отсюда и желание идти по пути наименьшего сопротивления, не оспаривая точку зрения дисс. советов, потому что нет возможности аргументированно доказать правильность полученных результатов. Кроме того, тут еще и какие-то требования ВАКа, наверняка, к представлению результатов исследования.
Огрубление данных,- здесь я тоже с Вами согласен, нивелирует многие факторы, которые влияют на результаты лечения.

3. По оценке P. Поскольку в литературе есть неразбериха (смешиваются и переплетаются P-value в понимании Фишера и уровень значимости "альфа" в понимании Пирсона и Неймана) то придётся ответить, но почитайте и Закса и Реброву (стр. 64) по принципам проверки гипотез. P - непрямая мера оценки вероятности нулевой гипотезы и представляет собой вероятность наблюдать имеющиеся или ещё более экстремальные данные при условии справедливости нулевой гипотезы. Т.к. в статистическом оценивании всегда проверяется нулевая гипотеза (нет различий, нет связей, нет зависимостей), то часто наша гипотеза доказывается методом от противного. Скажем мы хотим доказать, что существует связь между временем начала бужирования и оценкой результата. Мы выдвигаем нулевую гипотезу - такой связи нет - и проверяем её с помощью к/л статистического критерия с получением оценки Р. Если Р будет мало, скажем меньше 5% (P<0,05) мы говорим: "вероятность нулевой гипотезы ("связи нет") мала, поэтому мы её отклоним и примем альтернативную: "связь есть"". Типичное доказательство от противного. Т.е. в современном научном подходе мы не можем подтвердить свою гипотезу, мы можем только отклонить нулевую. Пока мы её не отклонили - она остаётся в силе; в этом - одна из причин консерватизма научного метода. 5% - не волшебное число, просто люди договорились считать малым то, что меньше или равно 5%. Такое граничное значение называется уровнем значимости. Иногда 5%-ный уровень значимости слишком строг, иногда слишком либерален. Если P<0,0000001, то такая нулевая гипотеза ещё менее правдоподобна, соответственно более правдоподобна альтернативная. Следовательно P=0.05 нигде не задаётся, ни в одном пакете или тесте; число 0,05 может понадобиться вам только для планирования объёмов выборок: понятно, что если вы хотите доказать наличие связи на 1%-ном уровне значимости понадобится больше наблюдений, чем для 5%-ного у.з.

Спасибо за ценные замечания. Теперь все более понятно. Реброву и Закса почитаю еще раз. Проблема с оценкой значений р была связана с тем, что для закрепления той информации, которая приводится в литературе я решал примеры и сравнивал свои результаты с тем,что дают авторы. Возможно я не так понял из условий задач, что они принимают за нулевую гипотезу- отсюда неправильная трактовка результатов (пересмотрю еще раз).

4. Проверка на тренд. А как Вы закодировали веса для данных? Разве так как собирались (1-неуд, 4-отл.)? Вы их закодировали наоборот, т.е. чем больше балл, тем хуже оценка. Чтобы не путаться - перекодируйте их в привычную для интерпретации шкалу и проинтерпретируйте. Попробуйте опираясь на проведённые тесты самостоятельно сформулировать предварительные выводы - так как они будут звучать в публикации (диссертации) или можно более подробно. Потом подправим. Я имею в виду только первую таблицу, вторую потом проанализируете самостоятельно.

Хорошо, учту Ваши замечания перекодирую данные (действительно закодировал так как предлагает программа, а не так как Вы мне до этого посоветовали) и сформулирую выводы и еще, наверное, надо как-то представить полученные данные, чтобы не было вопросов на дисс.совете.

Спасибо!

Прикрепленные файлы

 Анализ_табл._сопряженности_в_Excel.rar ( 962,73 килобайт ) Кол-во скачиваний: 787