Правильно ли считает STATISTICA?, проверим |
Здравствуйте, гость ( Вход | Регистрация )
Правильно ли считает STATISTICA?, проверим |
7.06.2008 - 06:25
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
Предлагаю организовать новую тему вот по какой причине. Программа STATISTICA позиционируется, в том числе, для обработки медицинских данных. Есть несколько книг на эту тему. В том числе для клиницистов. В общих интересах проверить, правильно считает данная программа. Как говорится в русской пословице, "назвался груздем - полезай в кузов".
Пока сам не обладаю лицензионной копией, но очень хотелось бы купить. Уже запланировали для нашей клиники в этом году. Грузить 128 Мб пробной версии тоже не с руки, коль скоро будет полная лицензионная версия. Поэтому для начала предлагаю тем, у кого данная копия имеется, подставить небольшие массивы данных и посчитать двухвыборочный критерий Вилкоксона. Времени займет немного. Итак, данные: Задача 1 ----------- Выборка А (n = 5) 12,0072 12,0064 12,0054 12,0016 12,0077 Выборка B (n = 4) 11,9853 11,9949 11,9985 12,0061 Задача 2 ----------- Выборка А (n = 6) 95,6 94,9 96,2 95,1 95,8 96,3 Выборка B (n = 7) 93,3 92,1 94,7 90,1 95,6 90,0 94,7 У задач есть правильный ответ из известной из очень качественной книги. Если уважаемые форумчане отзовутся на предложение, непременно сообщу верные ответы и их источники. Потом проверим и другие методы. Если программа считает правильно, это будет хорошей рекламой для нее. Если нет, ... надо исправлять ошибки. Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
7.06.2008 - 10:10
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Уточните задание. В советской литературе (Лакин с.130 U-критерий Уилкоксона (Манна- Уитни) проверяет гипотезу о принадлежности сравниваемых выборок к одной и той же ГС. Критерий Уилкоксона в иностранной литературе и во всех статистических программах того же происхождения проверяет попарно связанные выборки, у Лакина это Т-критерий Уилкоксона (стр. 133). Вы привели примеры разновеликих выборок, если это связанные выбокри, то есть пропущенное значение в каждом примере, а если не связанные, то в программе Statictica нужно выбрать критерий Манна-Уитни. Что же будем пересчитывать? Ручками легко посчитать, и программки под рукой.
|
|
7.06.2008 - 10:42
Сообщение
#3
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
Уточните задание. В советской литературе (Лакин с.130 U-критерий Уилкоксона (Манна- Уитни) проверяет гипотезу о принадлежности сравниваемых выборок к одной и той же ГС. Критерий Уилкоксона в иностранной литературе и во всех статистических программах того же происхождения проверяет попарно связанные выборки, у Лакина это Т-критерий Уилкоксона (стр. 133). Вы привели примеры разновеликих выборок, если это связанные выбокри, то есть пропущенное значение в каждом примере, а если не связанные, то в программе Statictica нужно выбрать критерий Манна-Уитни. Что же будем пересчитывать? Ручками легко посчитать, и программки под рукой. По порядку. 1. А науки не бывает советской и иностранной. И не бывает плохой и хорошей. Бывает просто наука. Или не бывает. 2. Двухвыборочным называется критерий Вилкоксона для независимых выборок. 3. Пример и наименование взяты из переведенного на русский язык иностранного источника. 4. Лакина в данной теме использовать не рекомендую, т.к. у него не предусмотрен учет поправок (связки и непрерывность). 5. T-критерий Вилкосона, упомянутый в предыдущем посте, называют еще одновыборочным критерием. "Ручками?" Смысл тогда? Я же хочу проверить, как STATISTICA считает. Беру пример из книги (уже просчитанный ручками) с известным правильным ответом. Подставляю те же данные в дорогостоящую программу, рекомендуемую на сайте разработчиков и десятком авторов монографий именно для обработки медицинских данных (а это очень сильная претензия), и сравниваю, проверяя правильность программы. Что, замахнулся на святое? Или программу STATISTICA запрещено проверять законодательно? "Ручками?" Т.е., по логике DrgLena, я покупаю программу STATISTICA Advanced 8 за 73378 казенных рублей (цена по апрельскому каталогу SoftLine Direct), но считаю ручками. Тогда цель покупки можно точнее сформулировать? Может тогда деньги на что-то более полезное потратить? Вообще, очень хотелось бы, чтобы перед ответом уважаемые собеседники ознакомились с названием темы. Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
7.06.2008 - 11:33
Сообщение
#4
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Это называется уточнили. Если вы хотите посчитать в Statictica ( и те только) ваши примерчики, то нажмите кнопочку Манна- Уитни, а не Уилкоксона, посмотрев документацию (первоисточник) к любой программе, желательно на английском языке.
|
|
7.06.2008 - 13:08
Сообщение
#5
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
Да уж. Слов нет. Ну да ладно.
Итак. Загрузил демонстрационную полнофункциональную (по утверждению сайта http://statsoft.com) версию STATISTICA 8 (это почти 135 Мб). Установка ее - отдельная песня, но дело не в этом. Ввел указанные в первом посте данные. Нажал, "по совету врачей", кнопочку, означающую Манна-Уитни. Искомого результата не получил. Гипотеза: STATISTICA 8 неверно считает критерий Манна-Уитни. Правильные ответы (Браунли К.А. Статистическая теория и методология ...): для задачи 1: p (точное) 0,0317, p (аппроксимация) = 0,033. для задачи 2: p (точное) 0,0035, p (аппроксимация) = 0,004. Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
7.06.2008 - 16:46
Сообщение
#6
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Второй примерчик не смотрела, а по первому по любым критериям (Бог с ними с названиями) различия статистически не достоврены. Если вы уже скачали программу, то посмотрите непараметрические критерии для сравнения двух несвязанных выборок, как они там называются. Там их три, один из них М-У (р=0,33); Wald-Wolfowitz (p=0,74) и Кол-Смирн (р>0,10). И что самое интересное, SPSS, дает тот же результат сравнения по М-У. Суммы рангов или средние ранги могут быть другими, и ручками получается тоже. Посчитайте U1 и U2, меншее значение, т.е. 6 и есть значения критерия, хоть таблички посмотрите в конце любого учебника, нулевая гипотеза не отклоняется. Суммы рангов или средниий ранг даже доктор может посчитать.
Вы, конечно и Уилкоксона можете нажать, по совету врачей, но обратите мнимание, что в программе Statistica - это для связанных выборок и в первом примере будет анализироваться 4 пары значений. На чем основан ваш вывод, что вы даете правильные ответы, вернее не вы, а Браунли К.А.? или еще вернее перевод из этого источника? А если слов у вас уже больше нет, то приведите свой ручной расчет, а я приведу свой ручной и распечатки машинограмм разультата по первому примеру, на второй нет времени. Видимо, где собака зарыта будет понятно из первого примера. |
|
7.06.2008 - 16:48
Сообщение
#7
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Суммы рангов или средние ранги не могут быть другими, и ручками получается тоже.
|
|
7.06.2008 - 17:59
Сообщение
#8
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
Второй примерчик не смотрела, а по первому по любым критериям (Бог с ними с названиями) различия статистически не достоврены. Если вы уже скачали программу, то посмотрите непараметрические критерии для сравнения двух несвязанных выборок, как они там называются. Там их три, один из них М-У (р=0,33); Wald-Wolfowitz (p=0,74) и Кол-Смирн (р>0,10). И что самое интересное, SPSS, дает тот же результат сравнения по М-У. Суммы рангов или средние ранги могут быть другими, и ручками получается тоже. Посчитайте U1 и U2, меншее значение, т.е. 6 и есть значения критерия, хоть таблички посмотрите в конце любого учебника, нулевая гипотеза не отклоняется. Посчитайте не асимптотику, а точные значения и убедитесь что Вы вместе со STATISTICA (и SPSS - забавно) ошибаетесь. Если возникли затруднения, укажу пару источников. Критерий рандомизации компонент описан Рунионом. Критерий Вилкоксона (точный) - Браунли. Асимптотика, в том числе и Манн-Уитни, дают результаты очень близкие. О Колмогорове-Смирнове. Нет такого критерия и никогда не было. Эти авторы никогда не работали вместе и не сочиняли никаких совместных критериев. Можете свериться из первых рук - на сайте профессора Орлова. Суммы рангов или средниий ранг даже доктор может посчитать. Вы зря так пренебрежительно относитесь к докторам. Тем более на их сайте. Уверяю Вас, это, как правило, образованные и интересные люди. Вы, конечно и Уилкоксона можете нажать, по совету врачей, но обратите мнимание, что в программе Statistica - это для связанных выборок и в первом примере будет анализироваться 4 пары значений. Спасибо, я обратил на это внимание. На чем основан ваш вывод, что вы даете правильные ответы, вернее не вы, а Браунли К.А.? или еще вернее перевод из этого источника? А если слов у вас уже больше нет, то приведите свой ручной расчет, а я приведу свой ручной и распечатки машинограмм разультата по первому примеру, на второй нет времени. Видимо, где собака зарыта будет понятно из первого примера. Вывод основан на корректных расчетах и весьма уважаемых источниках. Если ни один из опубликованных результатов не совпадет с Вашей любимой программой, Вы их все объявите ересью? Суммы рангов или средние ранги не могут быть другими, и ручками получается тоже. Без сомнения. Это так же верно, что завтра наступит утро. Только некоторые программы могут выводить в качестве статистики критерия не наименьшую сумму рангов, а, скажем, количество исходов численного эксперимента (для точного критерия Вилкоксона) или модифицированное (асимптотическое) значение статистики. Поэтому сравнивать нужно p-значения. Теперь добавление по поводу, что все тесты незначимы. Для рассматриваемых данных Критерий Смирнова 0,75, p = 0,21 Критерий Койпера 1,10, p = 0,07 Критерий Вилкоксона 12,00, p = 0,03 Критерий Манна-Уитни 18,00, p = 0,03 Критерий Ван дер Вардена 2,39, p = 0,03 Критерий Сэвиджа 7,28, p = 0,04 Критерий Зигеля-Тьюки 28,00, p = 0,23 Критерий Ансари-Бредли 15,00, p = 0,27 Критерий Клотца 2,69, p = 0,38 Критерий Муда-Брауна 1,00, p = 0,10 Критерий Коновера 95,00, p = 0,16 Почему разные результаты? Так тесты разные параметры сравнивают. Тем не менее все эквивалентные тесты дают результаты аналогичные. И весьма отличающиеся от программ, которыми Вы, без сомнения, легально владеете - STATISTICA и SPSS. Ну, и для защиты от грубых ошибок, t-критерий из "Пакета анализа" Excel 2,124282441, p = 0,061839627 Убедил? Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
7.06.2008 - 19:29
Сообщение
#9
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Нет, не убедили, а еще больше запутали, но...
Раз так много слов, продолжим, 1 пример, наиболее распространенный критерий во всем мире называемый Mann-Whitney U Test. У Лакина называется U критерий Уилкоксона (Манна-Уитни). Вы не любите Лакина, но все же это именно Биометрия, издательства Высшей школы, 1990 г., и он дает формулы и основные понятия, которые позволяют провести расчет руками, и что самое интересное, это дает полную сходимость результатов с известными статистическими пакетами. У меня такое впечатление, что у нас с вами разные данные. В пришпиленном файле, я их повторяю вместе с рангами и расчетом критерия. Если использовать указанные формулы, а не те что приведены в AtteStat, на которую в форуме была ссылка, то значение критерия U=6, а в AtteStat U1=6,а U2=14. В качестве критерия выбирают наименьшую, а AtteStat пишет, что по тем формулам, которые указаны в документации берется большая, поэтому 14. Так вот, Statistica и Spss тоже к 1 примеру дает U=6 и р =0,327,т.е. как у Лакина. А уж критерий Стьюдента, как вы так посчитали к 1 примеру? Во всех пакетах, включая AtteStat t=0,84; р=0,43
Прикрепленные файлы
|
|
7.06.2008 - 19:49
Сообщение
#10
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
Нет, не убедили, а еще больше запутали, но... Раз так много слов, продолжим, 1 пример, наиболее распространенный критерий во всем мире называемый Mann-Whitney U Test. У Лакина называется U критерий Уилкоксона (Манна-Уитни). Вы не любите Лакина, но все же это именно Биометрия, издательства Высшей школы, 1990 г., и он дает формулы и основные понятия, которые позволяют провести расчет руками, и что самое интересное, это дает полную сходимость результатов с известными статистическими пакетами. У меня такое впечатление, что у нас с вами разные данные. В пришпиленном файле, я их повторяю вместе с рангами и расчетом критерия. Если использовать указанные формулы, а не те что приведены в AtteStat, на которую в форуме была ссылка, то значение критерия U=6, а в AtteStat U1=6,а U2=14. В качестве критерия выбирают наименьшую, а AtteStat пишет, что по тем формулам, которые указаны в документации берется большая, поэтому 14. Так вот, Statistica и Spss тоже к 1 примеру дает U=6 и р =0,327,т.е. как у Лакина. А уж критерий Стьюдента, как вы так посчитали к 1 примеру? Во всех пакетах, включая AtteStat t=0,84; р=0,43 Не правда Ваша. В AtteStat критерий Уэлча соотвествует t-тесту с разными дисперсиями из "Пакета анализа" Excel. Вот его результат: Критерий Уэлча 2,12, p = 0,06. Полное совпадение. Странно. А проверьте-ка данные еще раз. Вот они: 12,0072 12,0064 12,0054 12,0016 12,0077 11,9853 11,9949 11,9985 12,0061 Обращаю внимание. Во всех источниках, которые Вы указали, используется асимптотика. Это означает, что в разных источниках, в зависимости от учета или неучета различных поправок, результаты могут НЕЗНАЧИТЕЛЬНО различаться. Подсчитав же точные тесты, Вы получите истинные p-значения независимо от того, учел кто-то где-то что-то или нет. Это трудоемко и не всегда реализуемо, но там, где точный расчет удается сделать, мы получаем идеальный инструмент для тестирования наших асимптотических расчетов. Кстати, а кто сказал, что мне удалось вполне подсчитать тест Манна-Уитни в STATISTICA 8? Другие тесты, действительно, работают и что-то считают. А вот Манн-Уитни в демонстрационной английской 8 версии не считается в принципе! Одни нули. Чему был немало удивлен. Может, это будет для Вас сюрпризом, но в Манне-Уитни не имеет значения, берете вы максимальную сумму рангов или минимальную. Главное - не перепутать одну и другую. А трактовку результатов разбирают Тюрин с Макаровым в их известной книге. Кстати, о вычислении Манна-Уитни такого понаворочено... Сергиенко посмотрите "Математическая статистика в клинических исследованиях". Много чудного узнаете. Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
7.06.2008 - 20:34
Сообщение
#11
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
В чем неправда моя, я прикрепила файл, вы его не посмотрели, там исключительно про критерий М-У, который я давно использую, с докомпьютерного периода, ручками проверено по Лакину. Я вам исключительно про М-У излагаю, а не про критерий Уэлча, я с ним не знакома. А для Стьюдента с разными дисперсиями могу приложить: t=0,95; p=0,34.
Данные проверьте сами, они в прикрепленном фале, я их коприровала блоком, врял ли ошиблась. В чем я с вами абсолютно согласна, что на этом нашем сайте образованные и интересные люди. Но SAS нам явно не хватает. |
|
7.06.2008 - 20:49
Сообщение
#12
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Похоже, у меня действительно ошибка в первичных данных, но файл не скачивается. Проверю!
|
|
7.06.2008 - 21:10
Сообщение
#13
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
В первой группе ошибка, у меня было так!
11,0064 12,0016 12,0054 12,0072 12,0077 |
|
7.06.2008 - 21:54
Сообщение
#14
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Игорь, в цитируемой вами книге рассчитывается односторонняя вероятность, в этом причина разногласий. Для критерия Манна-Уитни Statistica 6.0 выдает 2 значения Р: аппроксимацию стандартным нормальным распределением для двусторонней вероятности и удвоенную точную одностороннюю вероятность (2*1 sided exact p). Чтобы сравнивать - делил двустороннюю на 2. Имеем:
Пример 1. Аппроксимация: 0,050044 (:2=0,025022), Удвоенное точное: 0,063492 (:2=0,031746). Пример 2. Аппроксимация: 0,010516 (:2=0,005258), Удвоенное точное: 0,009524 (:2=0,004762). Вывод. При сравнении односторонних вероятностей: (а) по аппроксимации - сильные различия с книгой, (б) по точной оценке р - близкие оценки: в примере 1 - полное совпадение, в примере 2 - близко, но не совпало. (а). Причина несовпадения по аппроксимации в обоих примерах: похоже, что в книге при расчете аппроксимации была дополнительно введена поправка на непрерывность = 0,5 (вручную такую поправку не делал, но ее выдает KyPlot: p-аппроксимация с поправкой на непрерывность = 0,0661926 (:2=0,0330963). Остается найти в книгах формулу с такой поправкой - и можно будет перепроверить вручную. (б). Причина несовпадения точных значений в примере 2, связана с различной обработкой связанных значений (ties) - 95,6 и 96,3, присутствующих в обеих выборках. Похоже, что где-то не делается поправка на связи или делается по-разному. Поскольку тест без поправки на связи более консервативен - большее значение р должно быть там где поправка не делась - значит в Statistica. Действительно в хелпе читаем (выделено жирно мной): "Exact probabilities for small samples. For small to moderate sized samples, STATISTICA computes an exact probability associated with the respective U statistic. This probability is based on the enumeration of all possible values of U (unadjusted for ties ), given the number of observations in the two samples (see Dinneen & Blakesley, 1973). Specifically, for small to moderate sized samples, the program will report (in the last column of the spreadsheet) the value 2 * p, where p is 1 minus the cumulative (one-sided) probability of the respective U statistic. To reiterate, the computations for this probability value are based on the assumption of no ties in the data (ranks) . Note that this limitation usually leads to only a small underestimation of the statistical significance of the respective effects (see Siegel, 1956)." Т.о. точное значение P в книге дано более точное, чем в обсуждаемой программе. Полагаю, с Манном-Уитни разобрались |
|
7.06.2008 - 23:51
Сообщение
#15
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
По первому примеру Statistica дает одинаковый результат с SPSS, а по второму примеру полное совпадение SPSS с результатами Игоря и по аппроксимации и по точной оценке, поскольку он приводит одностороннюю вероятность.
1 пример 2 пример Asymp. Sig. (2-tailed) ,0500435 ,008046 Exact Sig. [2*(1-tailed Sig.)] ,0634921(a) ,004662(a) Exact Sig. (2-tailed) ,0634921 ,006410 Exact Sig. (1-tailed) ,0317460 ,003497 Point Probability ,0158730 ,002331 a Not corrected for ties. |
|