Доверительный интервал или критерий Стьюдента? Опции

[Naum]

Здравствуйте!
привожу отрывок из рецензии на статью: "При сопоставлении распространенности БА необходимо сравнивать известные популяционные величины и доверительный интервал данного исследования, а не точечную оценку. Так, 95% ДИ для распространенности БА 37/567=6.53% составляет 4.75-8.89. Данный интервал включает величины распространенности БА в городах Свердловской области (5.7-5.9%), следовательно, различий в распространенности БА в сравниваемых регионах нет.
Аналогично следует сопоставлять распространенность БА у работников комбината и других жителей города (различий нет)."

С распространенностью 6,5% Вы мне помогли разобраться. Спасибо! Следующий вопрос у меня появляется при сравнении распространенности БА у работников завода и других жителей города. Всего больных получилось 37, из них 17 работников завода и 20 других жителей города. На заводе всего заполнили анкеты 355 человек, в городе 212. Таким образом распространенность на заводе у меня получилась 4,8%, а в городе 9,4%. Я сравнила с помощью критерия Стьюдента - различия достоверны p=0,045. Но рецензент пишет, что сравнивать нужно с помощью доверительных интервалов. Я посчитала - получилось 38,38-68,97 и 31,03-61,62, следовательно различий нет. ????? так есть или нет различия?

Заранее спасибо!

[DrgLena]

Различий действительно нет, критерий Стьюдента не анализирует разность двух пропорций. 95% ДИ для завода по методу Вальда (не откорректированно), спасибо Плаву за информацию, составляет 2,6-7,0 (по Вилсону 3,0-7,5), а для города 5,5-13,4 или по Вилсону 6,2-14,1. Т.е. ДИ пересекаются. Чтобы указанные проценты 4,8 и 9,4 различались с допустимой ошибкой альфа 5% и бета 20% нужно иметь минимум 486 наблюдений в каждой группе.

[DoctorStat]

Ранее Вы сравнивали заболеваемость на заводе и в большой популяции (генеральной совокупности), заболеваемость в которой была известна с большой точностью (т.к. объем популяции много больше численности рабочих) . Для заболеваемости на заводе вычислялся доверительный интервал. Потом смотрели, попадает ли в этот интервал частота в популяции. Если попадает, то делался вывод, что заболеваемости на заводе и в популяции не отличаются.
Теперь перед Вами стоит ДРУГАЯ задача, т.к. частота в популяции (городе) неизвестна. Следовательно, нужно применить другие методы сравнения:
--------------------------------
МЕТОД 1. Критерий хи-квадрат.
Получается таблица 2Х2, в 1-ом столбце завод, во 2-ом город:
17 20
338 192
Значение хи-квадрат (БЕЗ ПОПРАВКИ Йетса на непрерывность) для этой таблицы равно=4,69,
поэтому значимость p-value=0,030<0,050.
Значение хи-квадрат (С ПОПРАВКОЙ Йетса на непрерывность) для этой таблицы равно=3,97,
поэтому значимость p-value=0,046<0,050.
ВЫВОД: на уровне значимости 5% заболеваемость на заводе отличается (меньше), чем в городе.
Заболеваемость на заводе: p_з=17/(17+338)*100=4,7%
Заболеваемость в городе: p_г=20/(20+192)*100=9,4%.
Разность заболеваний равна: p_з - p_г=0,047-0,094=-0,046
95%-ый доверительный интервал для разности=[-0.09,-0.004]
---------------------------------
МЕТОД 2. Двухсторонний точный критерий Фишера.
P-value=0,035<0,05. ВЫВОД: на уровне значимости 5% заболеваемости на заводе и в городе отличаются.

Все тесты дали ОДИНАКОВЫЕ результаты: заболеваемости отличаются.

Сообщение отредактировал DoctorStat - 4.10.2008 - 15:01

[плав]

Выше приведены правильные цифры, но не совсем правильные объяснения.
Всегда речь идет о выборке по которой Вы хотите оценить популяционные параметры. Доверительный интервал как раз отражает тот факт, что работаете Вы с выборками (жителей города и работников завода).
Действительно в качестве ориентировочного теста можно рассчитать доверительные интервалы и сравнить их, если они не будут перекрываться можно сделать вывод, что выборки пришли из разных популяций. Однако этот тест не рекомендуется, поскольку у него невысокая мощность (т.е. можно пропустить различия, когда они действительно существуют, но небольшие).
Именно эта ситуация и наблюдается в данном случае. Тест со сравнением доверительных интервалов оказывается недостаточно мощным и не позволяет отвергнуть нулевую гипотезу о равенстве популяций (Проблема этого теста заключается в том, что для оценки ошибки в каждом случае используется только часть данных), а вот тесты, которые используют все данные (типы хи2) демонстрируют возможность отвергнуть гипотезу о принадлежность двух выборок одной популяции на уровне 0,05.
Кстати, на уровне 0,01 уже отвергнуть гипотезу о принадлежности выборок одной популяции будет нельзя.
Тут, однако, возникает другая серьезная проблема: а аналогичны ли жители города работникам завода? Давно известный "парадокс здорового работника" говорит о том, что сравнивать работников предприятий (где работают более молодые и здоровые люди) с общим населением нельзя. Обычно общее население более больное. В данном случае наблюдается как раз эта ситуация, поэтому сильно увлекаться найденными различиями я бы не стал.

[DrgLena]

Да, с точки зрения статистики верно, приведенный Плавом статистический анализ показал, что на заводе распространенность БА ниже, чем в городе. Можно было бы и дальше пойти в применении стат методов. Тогда вообще можно прийти к выводу, что шанс иметь БА в 2,07 (OR) раза выше у жителей города не работающих на данном предприятии, т.е. там нужно устроить санаторий. Цель исследования, которую можно понять из замечаний рецензента, сравнить распространенность на заводе и в городе с приведенной для городов Свердловской области, т.е. с 5.7-5.9%. Поэтому рецензент рекомендует сделать такие же сравнения, т.е. посредством доверительных интервалов, что для эпидемиологических исследований более логично, чем статистическая проверка гипотез. Тогда и вывод будет простой: на заводе и в этом городе распространенность БА (процент выявленных) аналогична популяционной для Свердловской области.

[Игорь]

... При сопоставлении распространенности БА необходимо сравнивать известные популяционные величины и доверительный интервал данного исследования, а не точечную оценку. Так, 95% ДИ для распространенности БА 37/567=6.53% составляет 4.75-8.89. Данный интервал включает величины распространенности БА в городах Свердловской области (5.7-5.9%), следовательно, различий в распространенности БА в сравниваемых регионах нет.

Вопрос интересный, т.к. данный вывод предполагает, к примеру, следующее: в одном регионе распространенность 4.76, в другом 8.88. Между ними нет различия на основании того, что оба значения входят в доверительный интервал для 6.53. Несмотря на то, что различия между точечными оценками значений - двукратные. И это - реальные заболевшие люди, а не некий интервал. Т.е., реально, мы утверждаем, что двукратная разница в распространенности заболеваний - не основание, чтобы считать, что различия в заболеваниях имеют место.

Чтобы понятнее было, немного гротеска. У меня пусть запрлата 20 000 рублей, у naum - 10 000. Но разницы между нашими зарплатами нет никакой, т.к. обе они укладываются в доверительный интервал зарплаты Ивана Ивановича. Да, и еще - я работаю на ставку, и naum - на ставку. Но можно вполне заставить naum работать еще на 1 ставку (за те же деньги), т.к. обе ставки укладываются в доверительный интервал для 1,5 ставок Петра Петровича, и, значит, различий между ними нет.

Поэтому хотелось бы обоснования и ссылок на источники. Уважаемый(ая) naum, просьба сообщить ссылку на источник, на основании которого сделан данный вывод. Вероятно, рецензент дал Вам такую ссылку?

Уважаемый(ая) DrgLena, а где тут разность пропорций? Тут доли. А никаких пропорций нет. Английское proportion в ряде русскоязычных публикаций неадекватно переводится, как пропорция, а должно - как доля. Пропорцией, как нас еще в школе учили, называют равенство отношений двух пар величин - a/b = c/d. Вот пропорция. А если у вас a/b - какая же это пропорция?

Кстати, для долей можно посчитать дисперсии и формально составить для них аналог критерия Стьюдента.

Тут вообще явно что-то не то. Могу хоть сейчас привести пару выборок, медиана которой вместе с доверительными интервалами полностью укладывается в ДИ медианы другой выборки, а p-значение по Вилкоксону весьма мало.

Сообщение отредактировал Игорь - 3.10.2008 - 16:09

[DrgLena]

Да, используя англоязычные программы, я не точно использую термин, а именно proportion ? действительно доля в процентах, а не пропорция. Во всем остальном я с Игорем не согласна. Пример с зарплатой не корректен, у Ив.Ив зарплата без ДИ. Различия в 2 раз по зарплате у двух человек будет действительно в 2 раза. А вот в эпидемиологических или клинических исследованиях различия в 2 раза могут вовсе никого не устроить. Например, один препарат снижает вес на 1%, а другой за то же время на 2%, вы при этом тоже можете утверждать, что эффект в 2 раза больше и если группы будут не менее 2316, то это будет статистически значимое различие и фирма с радостью заплатит за такое исследование. Однако, с клинической точки зрения доказательства не убедительны. Клиницист должен оценить нижнюю границу ДИ, достаточен ли достигнутый эффект? Для эпидемиологических исследований ДИ дает возможность сравнивать распространенность заболеваний с уже опубликованными данными, например с другими регионами или с другими производствами.
Хорошо написано о «вероятности и доверии» в книгах: Триша Гринхальх «Основы доказательной медицины» М.2006, которая ссылается на работу Гордона Гайатта «Основы статистики для клиницистов». Книга Гайатта «Путеводитель читателя медицинской литературы. Принципы клинической практики основанной на доказанном». М 2003, есть на русском языке.
Цитата из Гайатта «Зачем использовать одно критическое значение (для статистической значимости ) , когда выбор такой точки спорен? Зачем делать вопрос, эффективно ли лечение дихотомичным (решение «да» или «нет»), когда правильнее наблюдать это как непрерывный континуум?

По поводу медиан, их представляют не с доверительными интервалами, а с квартилями и сравнивают соответствующими критериями.

Также не считаю разумным "для долей считать дисперсию и составлять для них аналог критерия Стьюдента".

В статье проверялась гипотеза (медицинская) о том, влияет ли работа на вредном производстве на заболеваемость БА?. Первое сравнение город с городами Свердловской области, второе завод с городом. Все значения - в интервале области. Вывод - работа на заводе не приводит к увеличению больных БА. А если уж использовать "р", то тут два сравнения, поэтому достигрутый уровень значимости нужно умножить на 2 и тогда санаторий на заводе можно не устраивать.

[Игорь]

Во всем остальном я с Игорем не согласна.

Да и правильно. Это же художественный образ. Принципиальных возражений у меня нет. Моя аргументация похожа на ту, которой пользовался недавно в [неофициально-дружеском] разговоре со мной один из организаторов науки (д.м.н., профессор), обосновывая свою позицию, почему в клинических исследованиях статистика вообще не нужна.

По поводу медиан, их представляют не с доверительными интервалами, а с квартилями и сравнивают соответствующими критериями.

Вот тут уже я не согласен. Медианы представляют с ДИ. И это - не квартили. Формулы вычисления ДИ медиан имеются. Это не в тему, но если нужны ссылки, сообщу.

Также не считаю разумным "для долей считать дисперсию и составлять для них аналог критерия Стьюдента".

Не вижу препятствий. Например, для энтропий мы же так может поступить (называется - критерий Хатчесона).

[DrgLena]

Первична, все же, научная идея, а статистика помогает ее подтвердить или опровергнуть. А у нас часто получается, что сначала собирают данные, потом пытаются найти где-нибудь какое-нибуть статистически достоверное различие, а потом думают, как его объяснить, а отсюда и вывод, что полезно работать на вредном производстве. В свое время вы и Плав мне очень помогли со ссылками по теории информации. По поводу медиан, аналогичная просьба, поскольку у меня данные, которые приводятся в иностранных публикациях, а также Реброва рекомендует и графически представляет медиану и в качестве характеристики рассеяния объектов мин макс, 25 и 75 процентиль, 10, 90 процентиль. В стандартных статистичесикх пакетах тоже нет ДИ к медиане. Т.о. если в публикации приводят медиану и квартили, то можно самостоятельно провести сравнение своих данных или данных других публикаций.

[Игорь]

Первична, все же, научная идея, а статистика помогает ее подтвердить или опровергнуть. А у нас часто получается, что сначала собирают данные, потом пытаются найти где-нибудь какое-нибуть статистически достоверное различие, а потом думают, как его объяснить, а отсюда и вывод, что полезно работать на вредном производстве. В свое время вы и Плав мне очень помогли со ссылками по теории информации. По поводу медиан, аналогичная просьба, поскольку у меня данные, которые приводятся в иностранных публикациях, а также Реброва рекомендует и графически представляет медиану и в качестве характеристики рассеяния объектов мин макс, 25 и 75 процентиль, 10, 90 процентиль. В стандартных статистичесикх пакетах тоже нет ДИ к медиане. Т.о. если в публикации приводят медиану и квартили, то можно самостоятельно провести сравнение своих данных или данных других публикаций.

Есть пара ссылок по ДИ медианы:
1. Орлов А.И. Непараметрическое точечное и интервальное оценивание характеристик распределения // Заводская лаборатория. Диагностика материалов, 2004, т. 70, № 5, с. 65-70. Благодаря любезности автора, работа доступна в Интернете бесплатно http://orlovs.pp.ru/stat/s1p4rasp.zip
2. Монография, к которой, что бы мы не исследовали, но возвращаемся всегда, как к Библии: Холлендер М., Вулф Д. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. Страницу сейчас не скажу, т.к. моя библиотека лежит на работе, а я в отпуске.

Считает ДИ медианы (не поручусь только, правильно или нет) программа AtteStat.

[DrgLena]

Спасибо, но это ссылки, как можно посчитать, я не сомневаюсь в том, что это можно посчитать, и на этом форуме Плав об этом писал. Я же спрашиваю, зачем это считать. Какие преимущества это дает в восприятии данных. Поэтому, я и прошу ссылки на медицинские журналы, где приводят ДИ к медиане.

[Игорь]

Я же спрашиваю, зачем это считать. Какие преимущества это дает в восприятии данных. Поэтому, я и прошу ссылки на медицинские журналы, где приводят ДИ к медиане.

Зачем считать ДИ медианы? - Чтобы получить интервальную оценку.
Реброва не велела, т.к. в программе STATISTICA их нет? - Ну, не считайте.
Словом, выбор за исследователем.

Ссылку на медицинские журналы дать не могу - не искал специально. Может, их и нет. Помните, в "Собачьем сердце" что ответил профессор по кафедре кожных болезней Бундарев на просьбу профессора Преображенского прокомментировать создание Существа? Он сказал буквально: "Случай не описан в литературе". В этом и сила медицинской науки (всегда можно на кого-то сослаться), и слабость (кто-то должен быть первым).

Сообщение отредактировал Игорь - 4.10.2008 - 12:42

[DrgLena]

Да, ваша логика железная, все согласны, что первым быть трудно. Но в данном случае и не нужно. Поскольку, если вспомнимть, как пост назывался "Доверительный интервал или критерий Стьюдента", то станет ясно, что автору вообще не до медианы, а ДИ ему нужно к доле. С рецензентом я абсолютно согласна, поскольку распространенность должна оцениваться не точечно, а интервально и этот интервал нужен к доле, а не к медиане.

[Игорь]

И все-таки вопрос открыт. Автор темы затронул важную проблему. И она шире доли с ДИ. А именно: почему статистический критерий показывает результаты, отличные от результатов сравнения параметров с ДИ? Естественно, критерий соотвествует данным. Тут автор немного ошибся (доли и Стьюдент). Если поправить - доли с ДИ и ТМФ, либо медианы с ДИ и Вилкоксон, либо средние с ДИ и Стьюдент. Не суть важно - соотношения закономерны. Всегда по параметру с ДИ отличий нет, по критерию - есть.

И хотелось бы получить ответ на данный вопрос. Иначе - хотим различия - берем критерий проверки гипотез. Не хотим различий - смотрим ДИ. В конкретном случае - хотим доказать, что различия есть - берем ТМФ. Хотим завалить статью - берем ДИ и доказываем, что различий нет.

Сообщение отредактировал Игорь - 4.10.2008 - 13:55

[DrgLena]

Всегда по параметру с ДИ отличий нет, по критерию - есть.

Вот это уж точно не так! Про Ди к медианам я утверждать не стану, а по поводу анализа различий средних значений количественных показателей по критерию Стьюдента и демонстрация этих различий посредством ДИ, под рукой сколько угодно примеров. Если вы выбрали 5% уровень значимости и построили 95% ДИ, то ДИ пересекутся, если различия не доказаны с помощью критерия. К оценке рисков ДИ к RR или OR также не будут пересекаться, если по таблице сопряженности, оцененной по хи-кв различия доказаны.