Я только что прочитала статью Н.А. Зорина "О НЕПРАВИЛЬНОМ УПОТРЕБЛЕНИИ ТЕРМИНА "ДОСТОВЕРНОСТЬ" В РОССИЙСКИХ НАУЧНЫХ ПСИХИАТРИЧЕСКИХ И ОБЩЕМЕДИЦИНСКИХ СТАТЬЯХ", опубликованную в журнале "Биометрика", и столкнулась с такой проблемой: я запуталась, что же такое "статистическая достоверность" и "статистическая значимость"? При попытке найти определения этих терминов, я нашла много версий этих определений. Исходя из того, что я нашла, "статистическая достоверность" и "статистическая значимость" получается, одно и то же. Или нет?
И ещё вопрос:
Что имеют в виду, когда говорят, что различия "статистически значимы", и что имеют в виду, когда говорят, что различия "статистически достоверны"?
Объясните пожалуйста ПРОСТЫМ языком, так как из прочитанной литературы я не могу этого понять (ну не доходит до меня, как ни стараюсь).

Тут на самом деле есть проблема. Обычно термин "статистически значимы" (significant) означает, что мы признаем, что различия были большими, чем можно было бы объяснить за счет просто влияния случайных факторов. Итак - мы проводим эксперимент (группа А получает плацебо, группа Б новый гипотензивный препарат) и получаем, что в группе А уровень артериального давления (АД) на 2 мм рт. ст выше, чем группе Б. Какой вывод мы можем сделать из этих данных? А никакого, поскольку такие различия могут быть следствием влияния случайных факторов (т.е. если бы мы давали в группе Б плацебо, то результаты были такими же - попробуйте два раза сосчитать пульс за 10 секунд и переведите его в минуты - получите разные цифры), либо в резуьтате гипотензивного действия препарата в группе Б. Поэтому мы выполняем статистический тест и устанавливаем, насколько высока вероятность того, что эта разность в 2 мм рт. ст. является следствием действия только случайных факторов. Получаем знаменитую величину р. Если р достаточно мало (например, р<0.05), то мы считаем, что вероятность получения найденных различий в результате действия только случайных факторов мала и, соответственно, они являются следствием действия иных, неслучайных факторов (гипотензиного действия препарата). Соответственно, различия "статистически значимы".
Достоверность, на самом деле - это тот уровень, который мы принимаем для того, чтобы считать, что мы считаем "значимым", а что нет. соответственно, в примере выше уровень достоверности 0,05 и, соответственно, правильное заключение выглядит так "различия между группами были признаны значимыми на уровне достоверности 0,05). Отсюда фраза "различи были высокодостверными". Обычно уровень достоверности фиксируется при планировании исследования и в диссертации является последней фразой в разделе про статистическую обработку в Материалах и методах. А далее, уже все обсуждается только с позиций "значимости". В принципе, пользователи путают несколько разных статистических теорий и детальное обсуждением вопроса можно найти в спецвыпуске Международного журнала медицинской практики за прошлый год (http://www.biometrica.tomsk.ru/plavin.htm)
Соотвественно, если ответить на Ваш вопрос простым языком, то "достоверность" это пограничное значение для принятия решения о "значимости" результата.

Ура! Я поняла! Спасибо огромное!

.. Поэтому мы выполняем статистический тест ..

скажите, а что означает слова "выполняем статистический тест". Раньше, когда обнаружили 2 мм - это был не тест?

Спасибо

Вообще-то, это всегда обозначалось "уровень значимости". Такого понятия, как "уровень достоверности" нет. Приводимое "confidence" относится к доверительным интервалам.

В примере про АД (разница в 2 мм.рт.ст.), кстати, показательно различие между терминами "статистически значимы" и "клинически значимы"...

"Виполняем статистический тест", я так понимаю, означает "подтверждаем либо опровергаем гипотезу о принадлежности групп А и Б к одной и той же совокупности"


А смотря как сравнивали. Если просто по средним значениям, тогда действительно никакого. Побольше конкретики можно?

to Pecatum:
> А смотря как сравнивали. Если просто по средним значениям, тогда действительно никакого.
> Побольше конкретики можно?
А внимательно читать не пробовали? Вот так как написано и нельзя сделать никаких выводов.
>Такого понятия, как "уровень достоверности" нет. Приводимое "confidence" относится к
> доверительным интервалам
Т.е. Вы хотите сказать, что термина confidence level нет. Рекомендую немного поискать, хотя бы в гугле. Как раз смысл ответа заключался в том, что перепутаны две статистические теории - теория оценки значимости различий Фишера и теория планирования эксперимента Неймана и Пирсона. Из первой к нам пришел термин "значимость различий", а вот границы, фиксированные заранее - это из второй теории. Еще раз рекомендую почитать статью в МЖМП.

>подтверждаем либо опровергаем гипотезу о принадлежности групп А и Б к одной и той же совокупности
Нет, расчитываем вероятность того, что при условии справедливости гипотезы о принадлежности выборок А и Б к одной и той же генеральной совокупности, могли быть найдены различия, аналогичные или большие данных.
Вообще-то советую читать вопрос, на который дается ответ. Хотите продемонстрировать, что умнее всех, дайте человеку более понятное определение статистической значимости и достоверности. Не можете - лучше ничего не пишите.

Получается, что "уровень достоверности" - это то же самое, что и "уровень значимости", который обозначается буквой "альфа"?

Если совсем формально - то нет. Одно устанавливается до начала эксперимента (уровень ошибки "альфа"), а второе - то, что получилось по результатам эксперимента. Однако на деле термины используются один вместо другого

Перед началом исследования я определяю уровень ошибки "альфа", не нарушая традиции, - 0,05. Далее приступаю к исследованию и проверке гипотез получаю некоторое значение P, т.е. значение вероятности ошибочно отвергнуть верную нулевую гипотезу. Если вычисленное значение P оказывается больше "альфа", то нулевую гипотезу принимаю. Если P оказывается меньше принятого значения "альфа", то принимаю альтернативную гипотезу и говорю, например, что различия статистически значимы. Нет ошибки в рассуждениях и терминологии?

Правильно будет сказать, что P - это вероятность отвергнуть справедливую нулевую гипотезу (при конкретном сравнении) или, что то же самое, уровень достоверности?

Нет, р - это вероятность получить такие или большие различия между средними выборок если справедлива нулевая гипотеза. Для, например, р=0,04 вероятность справедливости нулевой гипотезы может быть как больше, так и меньше 4%. Чтобы оценить вероятность справедливости нулевой гипотезы надо знать мощность исследования (1-бета) и вероятность справедливости нулевой гипотезы до начала исследования. Предположим, что вероятность справедливости нулевой гипотезы 50%. Если мощность исследования 80%, то вероятность справедливости нулевой гипотезы будет 4,8%. Если мощность 60%, то уже 6,3%, если мощность 20% (что часто бывает при небольших группах обследованных) - 16,7% (подчеркиваю, р=0,04 во всех случаях). Если вероятность справедливости нулевой гипотезы до проведения эксперимента больше 50% (например, странная находка - эффективность лечения путем молитвы по фотографии), то ситуация опять меняется (предположим, вероятность справедливости до начала эксперимента 10%), При мощности исследования 80% вероятность справедливости нулевой гипотезы 33%, при мощности в 60% вероятность справедливости нулевой гипотезы уже 40% и т.д. Надеюсь, из этих примеров понятно, что оценка р в отрыве от мощности исследования и знаний о предмете является мероприятием бессмысленным.
Правда, если р=0,001, то при мощности 80% вероятность справедливости нулевой гипотезы 0,1% (т.е. 0,001), при 60% - 0,2%, при мощности 60% и вероятности справедливости нулевой гипотезы до начала исследования 10%, справедливость нулевой гипотезы после проведения эксперимента составит 1,6%. Сравните с приведенными выше цифрами для р=0,04 и почувствуйте разницу в интерпретации результатов

Значит, корректная запись должна выглядеть следующим образом. Например:
При сравнении группы 1 и группы 2 выявлено статистически значимое увеличение показателя А на N единиц (P=0.02) с вероятностью 50%.
В приведенном примере я хотел сказать, что статистически значимые различия в N единиц (при уровне значимости альфа 0,05) можно обнаружить в 50% случаев.

И еще скажите, правильно я рассуждаю или нет:
Если написано, что в исследовании принят уровень значимости (альфа) 0,05, то это означает, что различия между группами будут признаны статистически значимыми, если вероятность P найти такие или большие различия при условии справедливости нулевой гипотезы будет меньше или равна 5%. И далее в тексте, когда пишут о наличии или отсутствии статистически значимых различий, приводят точное значение P. Например, "наблюдается статистически значимое увеличение показателя А на N единиц (P=0,02)". В данном примере тот факт, что P<0,05, свидетельствует о статистической значимости, а числовое значение 0,02 позволяет количественно оценить, на сколько увеличение показателя А статистически значимо, и при необходимости сравнить со степенью (величиной? - не знаю что лучше) статистической значимости прироста другого показателя. Но в идеале для адекватного сравнения величин статистической значимости нужно еще указать и вероятность, с которой найденные статистически значимые различия можно выявить, что зависит от мощности критерия.
Правда анализа статистической значимости в соотнесении с мощностью критерия я не видел еще ни в одной диссертации!!!

Правильная запись "При сравнении группы 1 и группы 2 выявлено статистически значимое увеличение показателя А на N единиц (P=0.02)" и все. Остальное - уровень ошибки альфа и прочее описывается в Материалах и методах. Как и при любых других методах (например, Абеля-Кендалла для измерения холестерина) существуют проблемы, о которых специалисты знают. Предполагается, что в области статистики все являются специалистами и понимают, о чем идет речь. Поэтому запись р=0,02 достаточна, чтобы читатель понял, что вероятность случайного получения таких различий при взятии выборок из одной популяции составляет 2%. Запись "статистически значимое" это оценочное суждение, и Вы считает, что если вероятность р меньше 0,05, то результат можно оценить как "статистически значимый". Вероятности справедливости нулевой гипотезы не принято приводить, ибо тогда становится очевидной субъективность выводов (помните, там наверху было указано, что надо предположить убежденность в справедливости нулевой гипотезы до начала эксперимента).
Установка заранее границ достоверности была сделана как раз для борьбы с этой субъективностью. Однако подход был иной. Исследователь заранее определяет приемлимые вероятности ошибок I (альфа) и II (бета) типов, затем определяет клинически значимые различия между группами. На основании этой информации расчитывает потребный объем выборки и проводит эксперимент. Если различия оказываются больше заранее выбранной границе - гипотеза подтверждена, препарат работает, если нет - не работает. Таким образом проводится планирование всех клинических испытаний.
Тот факт, что в диссертациях мощность исследования не уитывается, не удивляет - адекватная статистическая оценка гипотез убила бы целые научные направления, которые живут только благодаря малому числу наблюдений и предпочтительному цитированию. Но это - оффтопик.
В целом же на сегодняшний день повторюсь, р - величина, получаемая в результате эксперимента, альфа - теоретическая граница, используемая для оценки р (неправильно, но так принято). Иными словами условие достверности различий р<альфа.

А как быть, если эксперимент не клинический, а предварительный, на лабораторных животных. Исследуется совершенно новое воздействие и неизвестно на сколько выраженные изменения оно может вызвать.
т.е. чтобы запланировать количество n, я должен знать хотя бы ориентировочную информацию о возможных изменениях, которые могут быть вызваны этим воздействием, дисперсию в контроле, а если этого ничего нет?
Например, синтезировали вещество. Нужно выяснить, как оно влияет какой-то показатель. Опыт на крысах. Я сразу набираю две группы по 10 животных, получаю соответственно две выборки по 10 наблюдений в каждой и сравниваю их. если P<альфа - различия статистически значимы.
А далее, зная, какие изменения может вызывать новый препарат на животных, каково распределение, какова дисперсия, я могу запланировать клинический эксперимент с определенным количеством больных.

Нет, не так. Получили новое вещество. Влияет на сывороточную нормитазу. Какой минимальный эффект от снижения сывороточной нормитазы еще можно признать клинически значимым? Скажем, 5 единиц (точность измерения). Каков разброс значений сывороточно нормитазы - от 20 до 60 (диапазон 40, предполагая нормальное распределение сигма около 7). Теперь достаточно данных для планирования эксперимента с альфа 0,001 и бета 0,05 (для первого исследования всегда альфа берется очень низкой - вероятность того, что вещество работает мало). Отсюда можно определить количество животных, которое должно войти в исследование (их будет О-О-О-О-чень много). Поэтому на животных проверяют, в основном, токсичность препарата... а его эффективность - на 3 стадии клинических испытаний

Может, IVANу поможет следующая информация.

Анализ репрезентативности выборки особенно важен на начальном этапе исследований, когда численность генеральной совокупности неизвестна, но известны некоторые параметры опыта, позволяющие оценить репрезентативность. В этом случае достаточная численность выборки определяется по формуле
N=(ts/d)^2,
где t - значение обратной функции распределения Стьюдента с бесконечным «числом степеней свободы» для заданной стандартной доверительной вероятности,
s - стандартное отклонение, рассчитанное по выборке,
d - заданная абсолютная погрешность определения среднего арифметического значения.
Абсолютная погрешность вводится в именованных числах, т.е. в тех же единицах измерения, что и варианты выборки. Например, при подсчете количества неделимых объектов исследования абсолютная погрешность может быть установлена равной 1.
Прошу прощения за нестандартные обозначения. Engine форума не дает возможности вводить формулы и символы.

Литература.
Зайцев Г.Н. Математическая статистика в экспериментальной ботанике. - М.: Наука, 1984. См. весь параграф 1.24.

Еще раз перечитала статью Зорина, я правильно поняла можно говорить либо достоверность либо, статистическая значимость и более никак ? И если в большинстве случаев статистическая значимость, то когда правильно говорить достоверность. И нашла в форуме обсуждение этих понятий из чего поняла, что достоверность мы устанавливаем в начале работы, а все остальное дальше это значимость. и можно ли говорить статистически значимое различие и рядом указывать (p 0,001)/ Я думаю эта тема все еще актуальна.