Интерпретация результатов: сравнение в динамике или между группами? Опции

[Ivan_A]

Уважаемые форумчане,
Вероятно, вопрос банальный, но не откажите, пожалуйста, в ликбезе, ибо окончательного ответа на него для себя пока не нашел.
Есть классическое изучение эффективности вмешательства - рандомизированное контролируемое - но с не очень большим размером выборки (21 и 19 человек в группах соответственно).
На baseline группы сопоставимы между собой (нет различий при сравнении средних).
На завершающем визите опять никаких различий между группами при сравнении средних нет (t-test для независимых выборок и U Манна-Уитни).
Но в динамике, т.е. при парном сравнении (t-test для парных выборок) - в активной группе мы получаем статистически значимую динамику.
Как интерпретировать такие результаты? Корректно ли делать вывод, что вмешательство в активной группе эффективнее, чем в группе контроля?
Заранее спасибо.
Извините, если эта тему уже поднималась, но мне не удалось найти.

[anserovtv]

Да, такое иногда происходит.
Основная причина - низкая мощность критериев: или мал эффект или недостаточно наблюдений.
Вычислите мощность критериев (тема обсуждалась).
Если мощности критериев менее 0,8, то никаких выводов делать нельзя и научности в данном исследовании нет.

[p2004r]

Уважаемые форумчане,
Вероятно, вопрос банальный, но не откажите, пожалуйста, в ликбезе, ибо окончательного ответа на него для себя пока не нашел.
Есть классическое изучение эффективности вмешательства - рандомизированное контролируемое - но с не очень большим размером выборки (21 и 19 человек в группах соответственно).
На baseline группы сопоставимы между собой (нет различий при сравнении средних).
На завершающем визите опять никаких различий между группами при сравнении средних нет (t-test для независимых выборок и U Манна-Уитни).
Но в динамике, т.е. при парном сравнении (t-test для парных выборок) - в активной группе мы получаем статистически значимую динамику.
Как интерпретировать такие результаты? Корректно ли делать вывод, что вмешательство в активной группе эффективнее, чем в группе контроля?
Заранее спасибо.
Извините, если эта тему уже поднималась, но мне не удалось найти.

Множественные сравнения делать нельзя. Должна быть однократная оценка модели со всеми эффектами. И потом (в рамках проведенной оценки) можно смотреть в чем конкретно выражается значимость для отдельных сравнений.

[nokh]

Уважаемые форумчане,
Вероятно, вопрос банальный, но не откажите, пожалуйста, в ликбезе, ибо окончательного ответа на него для себя пока не нашел.
Есть классическое изучение эффективности вмешательства - рандомизированное контролируемое - но с не очень большим размером выборки (21 и 19 человек в группах соответственно).
На baseline группы сопоставимы между собой (нет различий при сравнении средних).
На завершающем визите опять никаких различий между группами при сравнении средних нет (t-test для независимых выборок и U Манна-Уитни).
Но в динамике, т.е. при парном сравнении (t-test для парных выборок) - в активной группе мы получаем статистически значимую динамику.
Как интерпретировать такие результаты? Корректно ли делать вывод, что вмешательство в активной группе эффективнее, чем в группе контроля?
Заранее спасибо.
Извините, если эта тему уже поднималась, но мне не удалось найти.

В вашей ситуации нет никакого противоречия. Вы проверяете разные гипотезы и закономерно получаете разные результаты. На этапах "до вмешательства" и "после вмешательства" вы сравниваете независимые выборки критериями для независимых выборок. В сравнении "до-после" вы сравниваете зависимые выборки критериями для зависимых выборок. Всё нормально; и ваш вывод вполне корректен. Но вот способ, которым вы пришли в этому выводу не вполне корректен. По сути, для того, чтобы прийти к нему вы провели целых 4 теста вместо одного. Правильнее будет объединить все имеющиеся данные в одном анализе, о чём вам и написал р2004r. Помимо того, что так будет грамотнее, вы получите бонусом ещё и выигрыш в мощности, т.к. проводя отдельные тесты вы каждый раз отказывались от включения в анализ части данных, а значит огрубляли расчёт. Вам нужно использовать дисперсионный анализ с повторными измерениями. Статистически значимое взаимодействие факторов "Группа х Время" напрямую укажет на различие динамик. В рамках данного дисперсионного комплекса можно провести также и попарные сравнения групп на этапах до и после. Короче вам нужен один дисперсионный анализ с апостериорными сравнениями, а не 4 критерия Стьюдента.