Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >  
Добавить ответ в эту темуОткрыть тему
> Правильно ли считает STATISTICA?, проверим
Игорь
сообщение 7.06.2008 - 06:25
Сообщение #1





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Предлагаю организовать новую тему вот по какой причине. Программа STATISTICA позиционируется, в том числе, для обработки медицинских данных. Есть несколько книг на эту тему. В том числе для клиницистов. В общих интересах проверить, правильно считает данная программа. Как говорится в русской пословице, "назвался груздем - полезай в кузов".

Пока сам не обладаю лицензионной копией, но очень хотелось бы купить. Уже запланировали для нашей клиники в этом году. Грузить 128 Мб пробной версии тоже не с руки, коль скоро будет полная лицензионная версия.

Поэтому для начала предлагаю тем, у кого данная копия имеется, подставить небольшие массивы данных и посчитать двухвыборочный критерий Вилкоксона. Времени займет немного. Итак, данные:

Задача 1
-----------
Выборка А (n = 5)
12,0072
12,0064
12,0054
12,0016
12,0077

Выборка B (n = 4)
11,9853
11,9949
11,9985
12,0061

Задача 2
-----------
Выборка А (n = 6)
95,6
94,9
96,2
95,1
95,8
96,3

Выборка B (n = 7)
93,3
92,1
94,7
90,1
95,6
90,0
94,7

У задач есть правильный ответ из известной из очень качественной книги. Если уважаемые форумчане отзовутся на предложение, непременно сообщу верные ответы и их источники. Потом проверим и другие методы. Если программа считает правильно, это будет хорошей рекламой для нее. Если нет, ... надо исправлять ошибки.


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 10:10
Сообщение #2





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Уточните задание. В советской литературе (Лакин с.130 U-критерий Уилкоксона (Манна- Уитни) проверяет гипотезу о принадлежности сравниваемых выборок к одной и той же ГС. Критерий Уилкоксона в иностранной литературе и во всех статистических программах того же происхождения проверяет попарно связанные выборки, у Лакина это Т-критерий Уилкоксона (стр. 133). Вы привели примеры разновеликих выборок, если это связанные выбокри, то есть пропущенное значение в каждом примере, а если не связанные, то в программе Statictica нужно выбрать критерий Манна-Уитни. Что же будем пересчитывать? Ручками легко посчитать, и программки под рукой.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 7.06.2008 - 10:42
Сообщение #3





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(DrgLena @ 7.06.2008 - 10:10) *
Уточните задание. В советской литературе (Лакин с.130 U-критерий Уилкоксона (Манна- Уитни) проверяет гипотезу о принадлежности сравниваемых выборок к одной и той же ГС. Критерий Уилкоксона в иностранной литературе и во всех статистических программах того же происхождения проверяет попарно связанные выборки, у Лакина это Т-критерий Уилкоксона (стр. 133). Вы привели примеры разновеликих выборок, если это связанные выбокри, то есть пропущенное значение в каждом примере, а если не связанные, то в программе Statictica нужно выбрать критерий Манна-Уитни. Что же будем пересчитывать? Ручками легко посчитать, и программки под рукой.

По порядку.

1. А науки не бывает советской и иностранной. И не бывает плохой и хорошей. Бывает просто наука. Или не бывает.
2. Двухвыборочным называется критерий Вилкоксона для независимых выборок.
3. Пример и наименование взяты из переведенного на русский язык иностранного источника.
4. Лакина в данной теме использовать не рекомендую, т.к. у него не предусмотрен учет поправок (связки и непрерывность).
5. T-критерий Вилкосона, упомянутый в предыдущем посте, называют еще одновыборочным критерием.

"Ручками?" Смысл тогда? Я же хочу проверить, как STATISTICA считает. Беру пример из книги (уже просчитанный ручками) с известным правильным ответом. Подставляю те же данные в дорогостоящую программу, рекомендуемую на сайте разработчиков и десятком авторов монографий именно для обработки медицинских данных (а это очень сильная претензия), и сравниваю, проверяя правильность программы. Что, замахнулся на святое? Или программу STATISTICA запрещено проверять законодательно?

"Ручками?" Т.е., по логике DrgLena, я покупаю программу STATISTICA Advanced 8 за 73378 казенных рублей (цена по апрельскому каталогу SoftLine Direct), но считаю ручками. Тогда цель покупки можно точнее сформулировать? Может тогда деньги на что-то более полезное потратить?

Вообще, очень хотелось бы, чтобы перед ответом уважаемые собеседники ознакомились с названием темы.


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 11:33
Сообщение #4





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Это называется уточнили. Если вы хотите посчитать в Statictica ( и те только) ваши примерчики, то нажмите кнопочку Манна- Уитни, а не Уилкоксона, посмотрев документацию (первоисточник) к любой программе, желательно на английском языке.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 7.06.2008 - 13:08
Сообщение #5





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Да уж. Слов нет. Ну да ладно.

Итак. Загрузил демонстрационную полнофункциональную (по утверждению сайта http://statsoft.com) версию STATISTICA 8 (это почти 135 Мб). Установка ее - отдельная песня, но дело не в этом.

Ввел указанные в первом посте данные. Нажал, "по совету врачей", кнопочку, означающую Манна-Уитни. Искомого результата не получил. Гипотеза: STATISTICA 8 неверно считает критерий Манна-Уитни.

Правильные ответы (Браунли К.А. Статистическая теория и методология ...):
для задачи 1: p (точное) 0,0317, p (аппроксимация) = 0,033.
для задачи 2: p (точное) 0,0035, p (аппроксимация) = 0,004.


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 16:46
Сообщение #6





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Второй примерчик не смотрела, а по первому по любым критериям (Бог с ними с названиями) различия статистически не достоврены. Если вы уже скачали программу, то посмотрите непараметрические критерии для сравнения двух несвязанных выборок, как они там называются. Там их три, один из них М-У (р=0,33); Wald-Wolfowitz (p=0,74) и Кол-Смирн (р>0,10). И что самое интересное, SPSS, дает тот же результат сравнения по М-У. Суммы рангов или средние ранги могут быть другими, и ручками получается тоже. Посчитайте U1 и U2, меншее значение, т.е. 6 и есть значения критерия, хоть таблички посмотрите в конце любого учебника, нулевая гипотеза не отклоняется. Суммы рангов или средниий ранг даже доктор может посчитать.

Вы, конечно и Уилкоксона можете нажать, по совету врачей, но обратите мнимание, что в программе Statistica - это для связанных выборок и в первом примере будет анализироваться 4 пары значений.
На чем основан ваш вывод, что вы даете правильные ответы, вернее не вы, а Браунли К.А.? или еще вернее перевод из этого источника?
А если слов у вас уже больше нет, то приведите свой ручной расчет, а я приведу свой ручной и распечатки машинограмм разультата по первому примеру, на второй нет времени. Видимо, где собака зарыта будет понятно из первого примера.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 16:48
Сообщение #7





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Суммы рангов или средние ранги не могут быть другими, и ручками получается тоже.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 7.06.2008 - 17:59
Сообщение #8





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(DrgLena @ 7.06.2008 - 16:46) *
Второй примерчик не смотрела, а по первому по любым критериям (Бог с ними с названиями) различия статистически не достоврены. Если вы уже скачали программу, то посмотрите непараметрические критерии для сравнения двух несвязанных выборок, как они там называются. Там их три, один из них М-У (р=0,33); Wald-Wolfowitz (p=0,74) и Кол-Смирн (р>0,10). И что самое интересное, SPSS, дает тот же результат сравнения по М-У. Суммы рангов или средние ранги могут быть другими, и ручками получается тоже. Посчитайте U1 и U2, меншее значение, т.е. 6 и есть значения критерия, хоть таблички посмотрите в конце любого учебника, нулевая гипотеза не отклоняется.

Посчитайте не асимптотику, а точные значения и убедитесь что Вы вместе со STATISTICA (и SPSS - забавно) ошибаетесь. Если возникли затруднения, укажу пару источников. Критерий рандомизации компонент описан Рунионом. Критерий Вилкоксона (точный) - Браунли. Асимптотика, в том числе и Манн-Уитни, дают результаты очень близкие.
О Колмогорове-Смирнове. Нет такого критерия и никогда не было. Эти авторы никогда не работали вместе и не сочиняли никаких совместных критериев. Можете свериться из первых рук - на сайте профессора Орлова.
Цитата(DrgLena @ 7.06.2008 - 16:46) *
Суммы рангов или средниий ранг даже доктор может посчитать.

Вы зря так пренебрежительно относитесь к докторам. Тем более на их сайте. Уверяю Вас, это, как правило, образованные и интересные люди.
Цитата(DrgLena @ 7.06.2008 - 16:46) *
Вы, конечно и Уилкоксона можете нажать, по совету врачей, но обратите мнимание, что в программе Statistica - это для связанных выборок и в первом примере будет анализироваться 4 пары значений.

Спасибо, я обратил на это внимание.
Цитата(DrgLena @ 7.06.2008 - 16:46) *
На чем основан ваш вывод, что вы даете правильные ответы, вернее не вы, а Браунли К.А.? или еще вернее перевод из этого источника?
А если слов у вас уже больше нет, то приведите свой ручной расчет, а я приведу свой ручной и распечатки машинограмм разультата по первому примеру, на второй нет времени. Видимо, где собака зарыта будет понятно из первого примера.

Вывод основан на корректных расчетах и весьма уважаемых источниках. Если ни один из опубликованных результатов не совпадет с Вашей любимой программой, Вы их все объявите ересью?
Цитата(DrgLena @ 7.06.2008 - 16:48) *
Суммы рангов или средние ранги не могут быть другими, и ручками получается тоже.

Без сомнения. Это так же верно, что завтра наступит утро. Только некоторые программы могут выводить в качестве статистики критерия не наименьшую сумму рангов, а, скажем, количество исходов численного эксперимента (для точного критерия Вилкоксона) или модифицированное (асимптотическое) значение статистики. Поэтому сравнивать нужно p-значения.

Теперь добавление по поводу, что все тесты незначимы. Для рассматриваемых данных
Критерий Смирнова 0,75, p = 0,21
Критерий Койпера 1,10, p = 0,07
Критерий Вилкоксона 12,00, p = 0,03
Критерий Манна-Уитни 18,00, p = 0,03
Критерий Ван дер Вардена 2,39, p = 0,03
Критерий Сэвиджа 7,28, p = 0,04
Критерий Зигеля-Тьюки 28,00, p = 0,23
Критерий Ансари-Бредли 15,00, p = 0,27
Критерий Клотца 2,69, p = 0,38
Критерий Муда-Брауна 1,00, p = 0,10
Критерий Коновера 95,00, p = 0,16

Почему разные результаты? Так тесты разные параметры сравнивают. Тем не менее все эквивалентные тесты дают результаты аналогичные. И весьма отличающиеся от программ, которыми Вы, без сомнения, легально владеете - STATISTICA и SPSS.

Ну, и для защиты от грубых ошибок, t-критерий из "Пакета анализа" Excel
2,124282441, p = 0,061839627

Убедил?


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 19:29
Сообщение #9





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Нет, не убедили, а еще больше запутали, но...
Раз так много слов, продолжим, 1 пример, наиболее распространенный критерий во всем мире называемый Mann-Whitney U Test. У Лакина называется U критерий Уилкоксона (Манна-Уитни). Вы не любите Лакина, но все же это именно Биометрия, издательства Высшей школы, 1990 г., и он дает формулы и основные понятия, которые позволяют провести расчет руками, и что самое интересное, это дает полную сходимость результатов с известными статистическими пакетами. У меня такое впечатление, что у нас с вами разные данные. В пришпиленном файле, я их повторяю вместе с рангами и расчетом критерия.
Если использовать указанные формулы, а не те что приведены в AtteStat, на которую в форуме была ссылка, то значение критерия U=6, а в AtteStat U1=6,а U2=14. В качестве критерия выбирают наименьшую, а AtteStat пишет, что по тем формулам, которые указаны в документации берется большая, поэтому 14. Так вот, Statistica и Spss тоже к 1 примеру дает U=6 и р =0,327,т.е. как у Лакина.

А уж критерий Стьюдента, как вы так посчитали к 1 примеру?
Во всех пакетах, включая AtteStat t=0,84; р=0,43
Прикрепленные файлы
Прикрепленный файл  Mann.doc ( 63,5 килобайт ) Кол-во скачиваний: 954
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 7.06.2008 - 19:49
Сообщение #10





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(DrgLena @ 7.06.2008 - 19:29) *
Нет, не убедили, а еще больше запутали, но...
Раз так много слов, продолжим, 1 пример, наиболее распространенный критерий во всем мире называемый Mann-Whitney U Test. У Лакина называется U критерий Уилкоксона (Манна-Уитни). Вы не любите Лакина, но все же это именно Биометрия, издательства Высшей школы, 1990 г., и он дает формулы и основные понятия, которые позволяют провести расчет руками, и что самое интересное, это дает полную сходимость результатов с известными статистическими пакетами. У меня такое впечатление, что у нас с вами разные данные. В пришпиленном файле, я их повторяю вместе с рангами и расчетом критерия.
Если использовать указанные формулы, а не те что приведены в AtteStat, на которую в форуме была ссылка, то значение критерия U=6, а в AtteStat U1=6,а U2=14. В качестве критерия выбирают наименьшую, а AtteStat пишет, что по тем формулам, которые указаны в документации берется большая, поэтому 14. Так вот, Statistica и Spss тоже к 1 примеру дает U=6 и р =0,327,т.е. как у Лакина.

А уж критерий Стьюдента, как вы так посчитали к 1 примеру?
Во всех пакетах, включая AtteStat t=0,84; р=0,43

Не правда Ваша. В AtteStat критерий Уэлча соотвествует t-тесту с разными дисперсиями из "Пакета анализа" Excel. Вот его результат:
Критерий Уэлча 2,12, p = 0,06. Полное совпадение.

Странно. А проверьте-ка данные еще раз. Вот они:

12,0072
12,0064
12,0054
12,0016
12,0077

11,9853
11,9949
11,9985
12,0061

Обращаю внимание. Во всех источниках, которые Вы указали, используется асимптотика. Это означает, что в разных источниках, в зависимости от учета или неучета различных поправок, результаты могут НЕЗНАЧИТЕЛЬНО различаться. Подсчитав же точные тесты, Вы получите истинные p-значения независимо от того, учел кто-то где-то что-то или нет. Это трудоемко и не всегда реализуемо, но там, где точный расчет удается сделать, мы получаем идеальный инструмент для тестирования наших асимптотических расчетов.

Кстати, а кто сказал, что мне удалось вполне подсчитать тест Манна-Уитни в STATISTICA 8? Другие тесты, действительно, работают и что-то считают. А вот Манн-Уитни в демонстрационной английской 8 версии не считается в принципе! Одни нули. Чему был немало удивлен.

Может, это будет для Вас сюрпризом, но в Манне-Уитни не имеет значения, берете вы максимальную сумму рангов или минимальную. Главное - не перепутать одну и другую. А трактовку результатов разбирают Тюрин с Макаровым в их известной книге.

Кстати, о вычислении Манна-Уитни такого понаворочено... Сергиенко посмотрите "Математическая статистика в клинических исследованиях". Много чудного узнаете.


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 20:34
Сообщение #11





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



В чем неправда моя, я прикрепила файл, вы его не посмотрели, там исключительно про критерий М-У, который я давно использую, с докомпьютерного периода, ручками проверено по Лакину. Я вам исключительно про М-У излагаю, а не про критерий Уэлча, я с ним не знакома. А для Стьюдента с разными дисперсиями могу приложить: t=0,95; p=0,34.
Данные проверьте сами, они в прикрепленном фале, я их коприровала блоком, врял ли ошиблась.
В чем я с вами абсолютно согласна, что на этом нашем сайте образованные и интересные люди. Но SAS нам явно не хватает.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 20:49
Сообщение #12





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Похоже, у меня действительно ошибка в первичных данных, но файл не скачивается. Проверю!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 21:10
Сообщение #13





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



В первой группе ошибка, у меня было так!
11,0064
12,0016
12,0054
12,0072
12,0077

Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 7.06.2008 - 21:54
Сообщение #14





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Игорь, в цитируемой вами книге рассчитывается односторонняя вероятность, в этом причина разногласий. Для критерия Манна-Уитни Statistica 6.0 выдает 2 значения Р: аппроксимацию стандартным нормальным распределением для двусторонней вероятности и удвоенную точную одностороннюю вероятность (2*1 sided exact p). Чтобы сравнивать - делил двустороннюю на 2. Имеем:
Пример 1. Аппроксимация: 0,050044 (:2=0,025022), Удвоенное точное: 0,063492 (:2=0,031746).
Пример 2. Аппроксимация: 0,010516 (:2=0,005258), Удвоенное точное: 0,009524 (:2=0,004762).

Вывод. При сравнении односторонних вероятностей:
(а) по аппроксимации - сильные различия с книгой,
(б) по точной оценке р - близкие оценки: в примере 1 - полное совпадение, в примере 2 - близко, но не совпало.

(а). Причина несовпадения по аппроксимации в обоих примерах: похоже, что в книге при расчете аппроксимации была дополнительно введена поправка на непрерывность = 0,5 (вручную такую поправку не делал, но ее выдает KyPlot: p-аппроксимация с поправкой на непрерывность = 0,0661926 (:2=0,0330963). Остается найти в книгах формулу с такой поправкой - и можно будет перепроверить вручную.

(б). Причина несовпадения точных значений в примере 2, связана с различной обработкой связанных значений (ties) - 95,6 и 96,3, присутствующих в обеих выборках. Похоже, что где-то не делается поправка на связи или делается по-разному. Поскольку тест без поправки на связи более консервативен - большее значение р должно быть там где поправка не делась - значит в Statistica. Действительно в хелпе читаем (выделено жирно мной):
"Exact probabilities for small samples. For small to moderate sized samples, STATISTICA computes an exact probability associated with the respective U statistic. This probability is based on the enumeration of all possible values of U (unadjusted for ties ), given the number of observations in the two samples (see Dinneen & Blakesley, 1973). Specifically, for small to moderate sized samples, the program will report (in the last column of the spreadsheet) the value 2 * p, where p is 1 minus the cumulative (one-sided) probability of the respective U statistic. To reiterate, the computations for this probability value are based on the assumption of no ties in the data (ranks) . Note that this limitation usually leads to only a small underestimation of the statistical significance of the respective effects (see Siegel, 1956)." Т.о. точное значение P в книге дано более точное, чем в обсуждаемой программе.

Полагаю, с Манном-Уитни разобрались jump.gif
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 7.06.2008 - 23:51
Сообщение #15





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



По первому примеру Statistica дает одинаковый результат с SPSS, а по второму примеру полное совпадение SPSS с результатами Игоря и по аппроксимации и по точной оценке, поскольку он приводит одностороннюю вероятность.

1 пример 2 пример
Asymp. Sig. (2-tailed) ,0500435 ,008046
Exact Sig. [2*(1-tailed Sig.)] ,0634921(a) ,004662(a)
Exact Sig. (2-tailed) ,0634921 ,006410
Exact Sig. (1-tailed) ,0317460 ,003497
Point Probability ,0158730 ,002331
a Not corrected for ties.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

3 страниц V   1 2 3 >
Добавить ответ в эту темуОткрыть тему