Статистические пакеты Опции

[Игорь]

Посоветую посетить сайт всемирно известной компании Cytel http://www.cytel.com. Можно загрузить демо-версии мощнейшей программы StatXact и других продуктов, ориентированных на медицинские приложения. По крайней мере, в комплекте поставляется прекрасное толстенное руководство по методам анализа в формате PDF, которое у вас сохранится и после окончания пробного периода.

Обратите также внимание на раздел "Learn" данного сайта. Там лежат полные тексты ряда статей и других материалов авторов программ.

Хотя некоторые утверждения авторов сайта Cytel из серии "Only StatXact has ... " и вызывают возражения, ибо многие из методов вполне реализованы в других, в том числе бесплатных, продуктах, о которых авторам сайта, видимо, неизвестно.

Сообщение отредактировал Игорь - 8.11.2008 - 17:51

[DrgLena]

Спасибо!
Да, этой программы нет в обзоре, может у них и есть то, чего нет у других. Меня заинтересовала ссылка, которую они у себя разместили http://www.cytel.com/Papers/Ludbrook-Special-2002.pdf, там есть описание модификации критерия Мак-Немара для таблиц 3х3 и 4х4, т.е. не только для бинарного отклика. ПОлезная штука для анализа эффективности лечения. Но не хочется качать демо, чтобы это посмотреть, формула простая, можно самим сделать, т.е. Игорю в AtteStat.

[Игорь]

Спасибо!
Да, этой программы нет в обзоре, может у них и есть то, чего нет у других. Меня заинтересовала ссылка, которую они у себя разместили http://www.cytel.com/Papers/Ludbrook-Special-2002.pdf, там есть описание модификации критерия Мак-Немара для таблиц 3х3 и 4х4, т.е. не только для бинарного отклика. ПОлезная штука для анализа эффективности лечения. Но не хочется качать демо, чтобы это посмотреть, формула простая, можно самим сделать, т.е. Игорю в AtteStat.

Тем проще, что данный критерий под названием "критерий Стюарта-Максвелла (Stuart-Maxwell test)" - для таблиц k x k, кстати - уже давно замечен в модуле "Кросстабуляция" программы AtteStat.

Я закачал демо StatXact только ради Руководства, которое, думаю, является лучшим в мире руководством по фирменному статистическому ПО. Это пример, как надо писать руководства. Если задуматься, какое руководство (не программа) является худшим среди больших программ, то это, к сожалению - STATISTICA, что, впрочем, компенсируется обилием литературы по данному пакету.

Сообщение отредактировал Игорь - 9.11.2008 - 09:20

[DrgLena]

Вы абсолютно правы! Я все же закачала, впечатляет 1300 стр технической документации и 327 стр. пользовательской. Очень много возможностей для работы с таблицами. А что критерий Стюарта-Максвелла это тоже, что и модифицированный М-Н. Т.е у меня часто такие ситуации как, например, в табл 7 и 8, той ссылки http://www.cytel.com/Papers/Ludbrook-Special-2002.pdf
Есть ли у вас еще StatXact ?

[DrgLena]

Критерий Стюарта-Максвелла в программе AtteStat не выполняет расчет, если в ячейке "0". А критерий М-Н, как для двух откликов, так и модифицированный для большего числа рассчитывается и для этих случаев.

[Игорь]

Критерий Стюарта-Максвелла в программе AtteStat не выполняет расчет, если в ячейке "0". А критерий М-Н, как для двух откликов, так и модифицированный для большего числа рассчитывается и для этих случаев.

AtteStat выполняет расчет, если в ячейке 0. Другое дело, что он выдает диагностику о потенциальной проблеме аппроксимации хи-квадрат, которой критерий пользуется. Поэтому в данном случае следует использовать точный вариант критерия. Вот его-то в AtteStat, действительно, нет. В StatXact - есть! Поэтому у автора программы AtteStat есть еще фронт работ в этом направлении. Если таблица 2 х 2, то точный вариант Мак-Немара в AtteStat имеется (в модуле "Точные критерии").

Когда точный Мак-Немар для k > 2 будет в AtteStat, сказать сложно. Программа бесплатна, и автору за разработку ничего не платят, потому и сроков никто не устанавливает. Даже поддержка и оплата хостинга сайта накладны, не говоря уже о стоимости информационного обеспечения проекта. Хотелось бы сделать также еще ряд методов: Мантеля-Хензеля, альфу Кронбаха, каппу Коэна (все с ДИ), Пуассонову регрессию, и даже новых модулей: "Анализ мощности" и "Анализ выживаемости". Много времени занимает отладка точных (перестановочных) алгоритмов - для них кроме правильности расчета должно быть обеспечено также быстродействие, приемлемое для диалоговой программы. Например, на отладку точного варианта критерия Фримана-Холтона была потрачена неделя отпуска (по 12-16 рабочих часов в день), из нее 2 дня затрачено на то, чтобы убедиться, что алгоритмы генерации всех вариантов генерации таблиц из лучших отечественных и зарубежных учебников - полный бред. А на отладку Монте-Карло варианта данного метода - 4 выходных. Основная проблема заключается в том, что прямая реализация опубликованных алгоритмов, как правило, дает неэффективную (если вообще работающую) программу. Вряд ли пользователя устроит не то, что неделя расчета, а даже 1 час или 15 минут. Любой расчет, по возможности, должен занимать секунды. Пользователь может сравнить время, затрачиваемое AtteStat и любой другой программой - конечно в равных условиях: тот же метод, тот же набор данных. Так, почти все программы расчета ДИ по Клопперу-Пирсону на данных уважаемого Nikita потерпели крах (StatXact, Excel) или вообще отказались считать (STATISTICA). За исключением AtteStat.

Кстати, о качестве документации. Вот по теме (с сохранением пунктуации) цитата от STATISTICA: "Критерий Мак-Немара - является аналогом параметрического критерия Стьюдента и непараметрического критерия Уилкоксона". А вот фраза с сайта, который позиционирует себя в качестве коммерческого консультационного ресурса: "Критерий Мак-Немара. Сравнивает доли (пропорции) в двух соотносящихся группах с применением статистики критерия хи-квадрат Пирсона". На досуге можно посчитать число ошибок в данных глубоких мыслях.

Сообщение отредактировал Игорь - 9.11.2008 - 17:25

[DrgLena]

Да, у меня получилось посчитать этот пример в AtteStat. Представляю, что за адский труд писать программы. Я пытаюсь только понять, как готовые работают и то уходит масса времени. Разбираясь в MH, нашла простенькую программку под DOS. Некоторые результаты копирую. Не все сходится с AtteStat, но Stuart-Maxwell сходится. На склько я поняла, за эти выходные, этому критерию все равно упорядоченные категории или номинальные, а McNemar Test of Overall Bias or Direction of Change or Direction of Change
анализирует смещение, что мне и нужно.

MH Program: Marginal Homogeneity Tests for N x N Tables
Version 1.2 - John Uebersax
2008-11-09 3:02 PM
***INPUT***
Пример из табл 8, из обсуждаемой статьи
3 categories
Rater 1 is row variable
Rater 2 is column variable
ordered categories
5 4 2
0 5 4
0 1 5
Total number of cases: 26

***BASIC TESTS***
Four-fold tables tested

5 6 0 15
5 4 5 12
5 1 6 14

McNemar Tests for Each Category
---------------------------------------------------------------------
Proportion
Frequency (Base Rate)
Level ---------------- ---------------- Chi-
(k) Rater 1 Rater 2 Rater 1 Rater 2 squared(a) p
---------------------------------------------------------------------
1 11 5 0.423 0.192 exact test 0.0313
2 9 10 0.346 0.385 exact test 1.0000
3 6 11 0.231 0.423 exact test 0.1250
---------------------------------------------------------------------
(a) or exact test

Tests of Overall Marginal Homogeneity
------------------------------------------------------------
Bhapkar chi-squared = 10.385 df = 2 p = 0.0056
Stuart-Maxwell chi-squared = 7.421 df = 2 p = 0.0245 точно сходится с AtteStat
Bowker Symmetry Test
----------------------------------------------
Chi-squared = 7.800 df = 3 p = 0.0503

***TESTS FOR ORDERED-CATEGORY DATA***

McNemar Test of Overall Bias
or Direction of Change
--------------------------------------------
Cases where Rater 1 level is higher: 1
Cases where Rater 2 level is higher: 10

Chi-squared = 7.364 df = 1 p = 0.0067

© 2000-2006 John Uebersax
Кое-что разъехальсь, но прикрепить, даже txt файл мне не удается (использовано места 2,68 Мгб)

[плав]

Плав, спасибо за консультации в этом вопросе. JMP я закачиваю для самообразования, чтобы приблизиться к SAS.
В ссылке, которую вы дали для сравнения пакетов http://en.wikipedia.org/wiki/Comparison_of...stical_packages, нет цены для SAS. А GUI для SAS входит в базовую поставку или дополнительно оплачивается? И еще вопрос по STATA, на этой же страничке сказано, что к ней тоже есть GUI, но видимо у меня была старая версия, там не было графического интерфейса пользователя и графики были очень скромные.

Что касается SAS, то там есть модуль SAS/ASSIST, который приобретается отдельно (т.е. надо заказывать - с удивлением выяснил, что в Academic Suite его нет). Enterprise Guide так же. Вообще для SAS есть книжка SAS Learning Edition, которая стоит около 200 долл., содержит обрезанную версию SAS с последней версией Enterprise Guide (для тестирования очень хорошо, да и для большинства реальных отечественных медицинских задач пойдет, единственно, не знаю, распространяет ли их московское представительство). Книжки в последнее время для пользователей (SAS for Dummies) пишут также на основе Enterprise Guide.
Насчет цены - надо обращаться в Московское представительство, Academic Suite годовая лицензия стоит примерно 1900 евро (это версия "кафедра" с возможностью легальной установки на 50 компьютеров на одной кафедре) .
В Stata GUI - в виде меню, появился впервые в версии 4 (Student Edition, по-моему так называлось), последние версии все содержат систему меню с доступам к методам анализа, меню очень подробные (понятно, вначале меню, потом окна - не модули, как в старой Statistica).
Что же касается книг, то, вот уж что точно, так это то, что книги по SAS самые разумные (их много и они действительно написаны профессионально). Например, если хотите разобраться с анализом количественных данных - возьмите Categorical Data Analysis Using the SAS System. И так по всем разделам. Близко к SAS стоит S-plus/R, то же литературы - качественно - достаточно много. Все остальные идут с отставанием - Stata еще куда ни шло, а другие - как нажимать на кнопки (писать код), но без объяснения почему надо делать так, а не иначе и без объяснения допущения и других вещей, которые надо знать про анализ. Кроме того, для SAS есть материалы конференций SUGI (SAS User's Group), объясняющие, как реально использовать те или иные подходы. У Stata очень хороший форум. Остальные производители так же отстают.
Что же касается StatExact или NPASS, то это все-таки специализированные программы, а если надо покупать одну систему, то она должна быть общей, мне так кажется. Другое дело, что она должна быть расширяемой (и этих расширений должно быть много). А вот тут тогда S-plus/R - Stata -- SAS. Кстати, S-plus/R и Stata обновляются через интернет и дополнительные модули устанавливаются через него же достаточно прозрачно для пользователя.
Кстати, MN для многомерных таблиц - функция по умолчанию для R:
> x1<-matrix(c(5, 4, 2, 0, 5, 4,0, 1, 5), nrow=3)
> mcnemar.test(x1)

McNemar's Chi-squared test

data: x1
McNemar's chi-squared = 7.8, df = 3, p-value = 0.05033

Да, а в SAS можно легко запрограммировать все остальные упомянутые выше статистики (сам генерализованный McNemar часть стандартной поставки процедуры SAS/BASE - PROC FREQ):
ODS OUTPUT ANOVA = OUTVAR;
ODS OUTPUT POPPROFILES = SAMPLEN;
PROC CATMOD DATA=new;
WEIGHT COUNT;
RESPONSE MARGINALS;
MODEL t1 * t2 = _RESPONSE_ / ONEWAY;
REPEATED SYMP 2 / _RESPONSE_= SYMP;
ODS EXCLUDE ANOVA;
ODS EXCLUDE POPPROFILES;
PROC SQL NOPRINT;
SELECT SAMPLESIZE INTO: NOBS
FROM SAMPLEN;
QUIT;
DATA OUTVAR (KEEP = DF CHISQ PROBCHISQ S_M_STA P_S_M_ST);
SET OUTVAR (WHERE = (SOURCE NOT IN ("Intercept", "Residual")));
S_M_STA = CHISQ*&NOBS/(CHISQ + &NOBS);
P_S_M_ST = 1 - PROBCHI(S_M_STA, DF);
PROC PRINT DATA = OUTVAR NOOBS;
RUN;
Результаты:
Prob
DF ChiSq ChiSq S_M_STA P_S_M_ST

2 10.39 0.0056 7.4211 0.024465
Первое - статистика Бхапкара
Второе - статистика Стюарта-Максвелла
(детали подхода тут http://www2.sas.com/proceedings/forum2008/382-2008.pdf)
Bhapkar chi-squared = 10.385 df = 2 p = 0.0056
Stuart-Maxwell chi-squared = 7.421 df = 2 p = 0.0245

Вот почему общие программы все-таки лучше

[DrgLena]

По примеру, результат, который вы приводите для этого примера совпадает со значением для тест Баукера (Bowker Symmetry Test)
Bowker Symmetry Test: Chi-squared = 7.800 df = 3 p = 0.0503
А McNemar Test of Overall Bias or Direction of Change : Chi-squared = 7.364 df = 1 p = 0.0067
С McNemar тут дело запутанное, в той ссылке, откуда этот пример, есть и формула и результат оценки, полученный в StatXact5 (р=0,0067 для asymptotic и р= 0,012 exact) и это совпадает со значением приведенным выше для asymptotic, полученной в другой программе. Называют они его модифицированный (Kramer и Feinstein) McNemar.
SAS, как я поняла использует и термин другой generalized или обобщенный с Stuart-Maxwell, и рассчитывают его на базе теста Бхапкара:
SAS Global Forum 2008
?..The SAS system provides the easily-accessed calculation for McNemar's test (using option AGREE in
TABLE statement of SAS/STAT procedure FREQ) and Bhapkar's test (using the REPEATED statement in
the SAS/STAT procedure CATMOD), however, there are no public available SAS code to perform the cal-
culation and test using generalized McNemar/Stuart-Maxwell test statistic. Some sample SAS code for
McNemar's test and Bhapkar's test will be presented in the following section as a comparison among the
test results. In this section, a brief summary to the developed macro %gMcNemar was presented, the SAS
code is detailed in the Appendix??
Код для SAS вы привели именно отсюда. Но по этому коду вы получаете Bhapkar и дaлее на его основе, McNemar=10,385*26/10,385+26=7,42 что совпадает для этого примера со значением теста Стюатра-Максвелла
А как вы получили McNemar для этого примера?
Вряд ли будет один и тот же результат для «модифицированного» и «обобщенного» McNemar's test

[плав]

По примеру, результат, который вы приводите для этого примера совпадает со значением для тест Баукера (Bowker Symmetry Test)
Bowker Symmetry Test: Chi-squared = 7.800 df = 3 p = 0.0503
А McNemar Test of Overall Bias or Direction of Change : Chi-squared = 7.364 df = 1 p = 0.0067
С McNemar тут дело запутанное, в той ссылке, откуда этот пример, есть и формула и результат оценки, полученный в StatXact5 (р=0,0067 для asymptotic и р= 0,012 exact) и это совпадает со значением приведенным выше для asymptotic, полученной в другой программе. Называют они его модифицированный (Kramer и Feinstein) McNemar.
SAS, как я поняла использует и термин другой generalized или обобщенный с Stuart-Maxwell, и рассчитывают его на базе теста Бхапкара:
SAS Global Forum 2008
?..The SAS system provides the easily-accessed calculation for McNemar's test (using option AGREE in
TABLE statement of SAS/STAT procedure FREQ) and Bhapkar's test (using the REPEATED statement in
the SAS/STAT procedure CATMOD), however, there are no public available SAS code to perform the cal-
culation and test using generalized McNemar/Stuart-Maxwell test statistic. Some sample SAS code for
McNemar's test and Bhapkar's test will be presented in the following section as a comparison among the
test results. In this section, a brief summary to the developed macro %gMcNemar was presented, the SAS
code is detailed in the Appendix??
Код для SAS вы привели именно отсюда. Но по этому коду вы получаете Bhapkar и дaлее на его основе, McNemar=10,385*26/10,385+26=7,42 что совпадает для этого примера со значением теста Стюатра-Максвелла
А как вы получили McNemar для этого примера?
Вряд ли будет один и тот же результат для «модифицированного» и «обобщенного» McNemar's test

Код SAS для "обычного" теста McNemara выглядит так:
PROC FREQ;
WEIGHT count;
TABLES t1*t2/AGREE;
RUN;
Код для теста Бхапкара и Стюарта -Максвела приведен выше (причем не надо даже использовать макро, команды процедуры CATMOD позволяют рассчитать оба теста с минимальными усилиями)

[DrgLena]

"Кстати, MN для многомерных таблиц - функция по умолчанию для R:
> x1<-matrix(c(5, 4, 2, 0, 5, 4,0, 1, 5), nrow=3)
> mcnemar.test(x1)
McNemar's Chi-squared test
data: x1
McNemar's chi-squared = 7.8, df = 3, p-value = 0.05033"
Мой вопрос в том, как вы этот результат получили? Две программы дают такое значение для теста Баукера, одна из них AtteStat, а для McNemar Test of Overall Bias or Direction of Change Chi-squared = 7.364 df = 1 p = 0.0067. Оценка приведенного вами критерия М-Н (р=0,0503) значительно отличается.
Поскольку SAS это признанный стандарт, то и хочется увидеть решение этого примера именно в SAS.

[Игорь]

McNemar's chi-squared = 7.8, df = 3, p-value = 0.05033"
Мой вопрос в том, как вы этот результат получили? Две программы дают такое значение для теста Баукера, одна из них AtteStat, а для McNemar Test of Overall Bias or Direction of Change Chi-squared = 7.364 df = 1 p = 0.0067. Оценка приведенного вами критерия М-Н (р=0,0503) значительно отличается.
Поскольку SAS это признанный стандарт, то и хочется увидеть решение этого примера именно в SAS.

Позвольте небольшую реплику. Указанный выше результат для Мак-Немара совпадает с результатом для критерия Баукера (в т.ч. и в AtteStat, начиная с версии 9.6.1 - в предыдущих была ошибка). Вот тут http://www.fire.ca.gov/CDFBOFDB/pdfs/LewisHMP.pdf лежит отчет, на с. 3-1 которого представлен критерий Баукера. Затем сказано, что "This is known as Bowker's test. (If K = 2, then X2 simplifies to the McNemar's test statistic.) A SAS example is found in Appendix I". Т.е. критерий Баукера - это и есть критерий Мак-Немара для K > 2. Тут http://opus.zbw-kiel.de/volltexte/2006/3978/pdf/tr29-05.pdf еще есть несколько модификаций.

Сообщение отредактировал Игорь - 10.11.2008 - 14:42

[плав]

В дополнение к комментарию Игоря. Все вопрос терминологии. Этот тест (тест Баукера) называют тестом Мак-Немара для случаев с K>2, и SAS и R (кстати, отмеченные DrgLena расчеты - это не SAS, это - R). Но в SAS вместо теста Мак-Немара выполняется именно он, только называется тестом симметрии

CODE

t1 t2

Frequency?
Percent ?
Row Pct ?
Col Pct ? 1? 2? 3? Total
ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ
1 ? 5 ? 4 ? 2 ? 11
? 19.23 ? 15.38 ? 7.69 ? 42.31
? 45.45 ? 36.36 ? 18.18 ?
? 100.00 ? 40.00 ? 18.18 ?
ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ
2 ? 0 ? 5 ? 4 ? 9
? 0.00 ? 19.23 ? 15.38 ? 34.62
? 0.00 ? 55.56 ? 44.44 ?
? 0.00 ? 50.00 ? 36.36 ?
ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ
3 ? 0 ? 1 ? 5 ? 6
? 0.00 ? 3.85 ? 19.23 ? 23.08
? 0.00 ? 16.67 ? 83.33 ?
? 0.00 ? 10.00 ? 45.45 ?
ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ
Total 5 10 11 26
19.23 38.46 42.31 100.00


Statistics for Table of t1 by t2

Test of Symmetry
ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ
Statistic (S) 7.8000
DF 3
Pr > S 0.0503


Kappa Statistics

Statistic Value ASE 95% Confidence Limits
ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ
Simple Kappa 0.3849 0.1328 0.1248 0.6451
Weighted Kappa 0.4513 0.1261 0.2042 0.6984

Sample Size = 26

Могу привести пример, если не поверите на слово что в случае K=2 вместо Test of Symmetry написано McNemar's Test

[DrgLena]

Ну как не поверить таким живописным кодам. Но только в том, что при к=2 и значение Bowker Symmetry Test и McNemar Test совпадут, а также и df и "р". Это из формул следует. Но если k>2, т.е. в рассматриваемом примере, они уже не могут совпасть. Для Bowker df=N(n-1)/2=3, а для McNemar df=1, а отсюда и оценки р=0,0503 для Bowker, но р=0,0067 для McNemar.
http://ourworld.compuserve.com/homepages/jsuebersax/mh.htm

[плав]

Ну как не поверить таким живописным кодам. Но только в том, что при к=2 и значение Bowker Symmetry Test и McNemar Test совпадут, а также и df и "р". Это из формул следует. Но если k>2, т.е. в рассматриваемом примере, они уже не могут совпасть. Для Bowker df=N(n-1)/2=3, а для McNemar df=1, а отсюда и оценки р=0,0503 для Bowker, но р=0,0067 для McNemar.
http://ourworld.compuserve.com/homepages/jsuebersax/mh.htm

Не понял возражения. Итак, из того, что г-н Uebersax называет что-то тестом Мак-Немара не означает, что это - тест МакНемара. Создатели R называют тест Бокера тестом МакНемара (а вместе с ними и создатели S-plus). Те, кто работает в SAS называют это просто тестом симметрии. Истина заключается в том, что для K>2 теста МакНемара НЕ СУЩЕСТВУЕТ (просто потому, что по идеологии он происходит из анализа биномиального распределения). Есть тесты, разработанные для решения вопроса о связи двух категориальных переменных, измеренных при помощи номинальной или ординальной шкалы, их называют по-разному, но суть остается одна - ни один из них не является тестом МакНемара. Sheskin (2004) рекомендует таблицы с K>2 анализировать тестами Стьюарта-Максвелла или Бокера (тест Бокера, так же как и тест МакНемара анализирует только внедиагональные частоты, поэтому он более близкий родственник, хотя при К=2 тест Стьюарта-Максвелла (Эверитта) дает тот же результат, что и МакНемара). Если получаются достоверности, то следует разбить таблицу на таблицы 2*2 и анализировать их с помощью теста Мак-Немара. Кстати, такой же подход описывает и Uebersax в разделе Test of marginal homogeneity for a single category (http://ourworld.compuserve.com/homepages/jsuebersax/mcnemar.htm).
Так что откуда у Вас взялись значения df и р для МакНемара для Вашего примера (с К=3) не ясно.