Статистическая значимость и достоверность Опции

[Usya]

Люди добрые, подскажите, в чем отличие трех понятий: статистическая значимость, статистическая достоверность и ошибка первого рода?
Если можно, то на конкретных примерах - где правильно и где неправильно употреблять каждый из приведенных терминов? В том числе, правильно ли говорить об уровне ошибки первого рода либо об ошибке первого рода?

Только не переадрессовывайте меня на страницы http://forum.disser.ru/index.php?showtopic=924. Там хоть и есть информация по данному вопросу, но не совсем полная. Мне нужно знать в каких контекстах употребление этих фраз будет некорректно.
И тем более непонятно, как, например, согласуется данная ветка форму с http://www.tryphonov.ru/tryphonov3/terms3/cnflev.htm.

Заранее благодарен.

[paravoz]

Достоверное событие - событие вероятность возникновения которого равна 100%. В связи с этим статистическая достоверность - этот термин вобще в корне не правильный.
Статистический - это значит доказанный на основании какого либо статистического метода или вероятностного распределения и означает отсутствие или наличие элемента случайности в исследуемом процессе, элементе или их взаимосвязи. Достоверность не может быть статистической. Достоверность - это достоверность.
Ошибка первого рода - вероятность найти статистически значимые различия или связи там, где их на самом деле нет. Обычно обозначается символом "альфа" и обычно принимается равным 0,05, то есть вероятность найти статистически значимые различия или связи там, где их нет равна 5%.
Статистическая значимость - вероятность того, что вы нашли различия основанные не на случайности, а действительно там где они есть. Обычно статистическая значимость констатируется при уровне значимости меньше "альфа" (p<0,05).

Термин Ошибка первого рода обычно не используется в публикациях, помимо публикаций по статистике.
Чеще всего звучит термин "статистическая значимость" (например, у мужчин рост статистически значимо выше чем у женщин, p<0,05).

[nokh]

Люди добрые, подскажите, в чем отличие трех понятий: статистическая значимость, статистическая достоверность и ошибка первого рода?
Если можно, то на конкретных примерах - где правильно и где неправильно употреблять каждый из приведенных терминов? В том числе, правильно ли говорить об уровне ошибки первого рода либо об ошибке первого рода?

Только не переадрессовывайте меня на страницы http://forum.disser.ru/index.php?showtopic=924. Там хоть и есть информация по данному вопросу, но не совсем полная. Мне нужно знать в каких контекстах употребление этих фраз будет некорректно.
И тем более непонятно, как, например, согласуется данная ветка форму с http://www.tryphonov.ru/tryphonov3/terms3/cnflev.htm.

Заранее благодарен.

Посмотрите эту ветку и занудную, но полезную статью Зорина в ней: http://forum.disser.ru/index.php?showtopic=3265&st=0
Меня учили, что использование занятых теминов в науке недопустимо. В математике термин "достоверность" занят и употребляется вполне однозначно в теории вероятности, а математическая статистика базируется именно на теории вероятности. Поэтому когда я услышал о некорректности использования термина "достоверность" то быстро согласился и перестал употреблять его в своей работе, хотя раньше долгое время им пользовался. Это никак не согласуется с материалом на трифонов.ру и Слава Богу. Про ошибку первого рода много написано, читайте. Думаю корректнее просто "ошибка первого рода", а вот задаётся и контролируется она выбранным "уровнем значимости альфа". Хотя с самим термином тоже не всё хорошо. "Род" может быть мужским или женским, или восходить к какому-то родоначальнику... Зачем кому-то на заре 20-го века понадобилось перевести английский термин "type", как "род"? Хотя стараюсь придерживаться устоявшихся отечественных терминов и студентам-биологам рассказываю об ошибке первого РОДА, а также "квартилях" и "процентилях" женского рода (квартиль - это "она"), но говорю, что в современных материалах можно встретить другие перводы, в частности ошибка первого типа и квартили и процентили мужского рода.

[Usya]

В прошлом сообщении я немного перемудрил и не совсем правильно поставил вопрос.
Меня интересуют термины: статистическая значимость, уровень значимости, уровень достоверности и ошибка первого рода (либо уровень ошибки первого рода). В каком контексте эти фразы можно и нельзя употреблять?

paravoz

Ошибка первого рода - вероятность найти статистически значимые различия или связи там, где их на самом деле нет. Обычно обозначается символом "альфа" и обычно принимается равным 0,05

Ошибка первого рода и вероятность ошибки первого рода - это разные понятия. Таким образом определение некорректно. Символом "альфа", как, например сказано, в ГОСТ Р 50779.10-2000 обозначают уровень значимости.
То же самое касается определения статистической значимости...

nokh

Посмотрите эту ветку и занудную, но полезную статью Зорина в ней: http://forum.disser.ru/index.php?showtopic=3265&st=0

В статье говорится о том, что лучше говорить о значимости, хотя в http://forum.disser.ru/index.php?showtopic=924 модератор плав употребляет фразу "уровень достоверности 0.05" и поясняет, что это нормально.

Про ошибку первого рода много написано, читайте. Думаю корректнее просто "ошибка первого рода", а вот задаётся и контролируется она выбранным "уровнем значимости альфа".

Определение я знаю. Просто плав, например, употребляет такую фразу, как "уровень ошибки "альфа"". И как к ней относиться?
Или как относиться к вашей фразе "ошибка первого рода контролируется уровнем значимости"? Не совсем корректно употреблены фразы.

paravoz и nokh, это не придирки. Вопрос как раз и состоит в том, как корректно употреблять эти фразы?!!

P.s.
То, что мы интуитивно понимаем под всеми этими фразами - это одно, а то, как фразы правильно употреблять - это другое.

[paravoz]

Такое ощущение что меня экзаменуют.
Увидев человека с одним сообщением на форуме, естественно я подумал, что надо разжевать человеку понятия нормальным человеческим языком, а то начнется: "я первый день на форуме, я ничего не понимаю, объясните еще раз".
А раз вы и так все знаете, то не понятно зачем спрашиваете. Хотите раз и навсегда разобраться в этой ситуации, чтобы потом споры выигрывать?! Так вот в этих терминах однозначно сейчас разобраться не удасться. Я однажды пытался. Каждый автор интерпретирует их по своему, отсюда и путаница. Обращаться к первоисточникам начала XX века тоже не совсем правильно, потому что придуманное и изобретенное тогда не факт что является верным сейчас. В общем по поводу этих терминов и по поводу того как выяснить что каждый значит можно будет спорить до потери пульса.
Таким образом цепляйтесь к какому-либо авторитетному статистику и держите его методологию.

Если вы приводите утверждения плава, ну тогда и спросите у него напрямую.

[Usya]

Такое ощущение что меня экзаменуют... А раз вы и так все знаете, то не понятно зачем спрашиваете.

paravoz, без обид. Я и не собирался никого экзаменовать. А спрашиваю я потому, что несмотря на то, что перелопатил литературу по этой теме, так и не смог "воедино сложить мозаику" - в каком контексте можно употреблять эти термины, а в каком - нет.

Увидев человека с одним сообщением на форуме...

Для того и зарегистрировался, чтобы узнать ответ на свой вопрос . К тому же, аналогичная тема была ранее.

Если вы приводите утверждения плава, ну тогда и спросите у него напрямую.

Сколько людей, столько и мнений. Я приводил не только его утверждения, но и другие. Тем более и в его ответах есть фразы, которые не совсем стыкуются, например, с тем же ГОСТ Р 50779.10-2000. В частности, то, что он называет, уровнем достоверности, в ГОСТ Р 50779.10-2000 это называют уровнем значимости. А "альфа" у него - это уровень ошибки первого рода, либо то же самое, что уровень достоверности. Кроме того, и у плава есть неточности в определениях - "Достоверность, на самом деле - это тот уровень, который мы принимаем для того, чтобы считать, что мы считаем "значимым", а что нет". Понятно, что он имел ввиду, и вместо слова "достоверность" должна была быть фраза "уровень достоверности", но меня как раз и интересует корректность употребления указанных выше фраз. Хотя интересно было бы услышать его комментарий со ссылкой на первоисточник по поводу того "что перепутаны две статистические теории - теория оценки значимости различий Фишера и теория планирования эксперимента Неймана и Пирсона".

Таким образом цепляйтесь к какому-либо авторитетному статистику и держите его методологию.

Не у всех классиков даны определения этим терминам. Чаще встречаются фразы типа "различия значимы" и т.п. Кроме того, немалая часть изданий классиков - это переводная литература с вытекающими отсюда последствиями по вольности перевода. Хотя буду благодарен за любую ссылку на классика (желательно с указанием страницы), где встречаются эти термины!!!!!

P.s.
А столкнулся я с этим, т.к. нужно статейку в ВАК-овский журнал написать. Правда можно обойтись как-нибудь и без этих терминов, но не хочется ходить вокруг да около, а хочется разобраться в этом вопросе и называть вещи своими именами, тем более, что не в этой так другой статье придется эти термины употреблять.
Так, например, когда я учился, мой научный руководитель привел мне пример, что фразу "плотность вероятности" использовать не совсем грамотно (т.к. это равносильно фразе "плотность числа", что по сути бессмысленно), а грамотнее говорить "плотность распределения вероятностей", но в обиходе и в словарях такие фразы встречаются.

Сообщение отредактировал Usya - 9.11.2013 - 20:36

[anserovtv]

Рекомендую использовать учебники А.Д. Наследова /Санкт-Петербургский университет/.
Написаны достаточно грамотно. Имеются интерпретации результатов исследований.
Его Математические методы ... есть в интернете в PDF формате.

[nokh]

Или как относиться к вашей фразе "ошибка первого рода контролируется уровнем значимости"? Не совсем корректно употреблены фразы.

Неужели? Полагаю, что когда вы прочитаете достаточно, то сможете объяснить почему фраза вполне корректна. А про различие подходов Фишера и Неймана-Пирсона с указанием источников можно прочитать хотя бы в википедии: http://en.wikipedia.org/wiki/Statistical_hypothesis_testing . На ГОСТы ориентироваться нельзя, т.к. отчасти это - устаревший и безграмотный материал. Именно в ГОСТе я прочитал, что вопреки правилам русского языка знак % следует отделять от числа пробелом, сплошь и рядом написание сложных эпонимов через дефис, а не через тире и пр.

Рекомендую использовать учебники А.Д. Наследова /Санкт-Петербургский университет/.

Книга хорошая, но применительно конктретно к обсуждаемой теме Наследов - слабый источник. Он излагает только синтетический (гибридный подход), ошибочно называет р вероятностью нулевой гипотезы и судя по табл. 7.1 (Математические методы..., 2004, стр. 105) похоже не до конца понимает что такое "уровень значимости".

Сообщение отредактировал nokh - 10.11.2013 - 11:37

[anserovtv]

Неужели? Полагаю, что когда вы прочитаете достаточно, то сможете объяснить почему фраза вполне корректна.

Применительно конктретно к обсуждаемой теме Наследов - слабый источник. Он излагает только синтетический (гибридный подход), ошибочно называет р вероятностью нулевой гипотезы и судя по табл. 7.1 (Математические методы..., 2004, стр. 105) не до конца понимает что такое "уровень значимости".

Согласен с некоторыми замечаниями и сам А.Д.Наследов с ними согласен. Рецензент ,скорее всего, книгу не читал.
В других книгах. известных мне. еще больше неточностей.
Уверен , что для многих на этом форуме будет очень трудно освоить методы и лексику на очень правильном уровне.
В нашем вузе занятия по данному предмету с аспирантами даже не проводятся.
Чтобы освоить методы и лексику могут потребоваться годы.
Нужно годами изучать матстатистику,(а еще лучше годами преподавать).
Назрела необходимость издать современный справочник, на который бы все ссылались.
А что вы рекомендуете? Напишите.

[nokh]

Назрела необходимость издать современный справочник, на который бы все ссылались.
А что вы рекомендуете? Напишите.

Рекомендовать сложно, одно лучшо дано в одних источниках, другое - в других. По обсужаемой теме информации много, есть даже совсем свежие публикации:
http://tap.sagepub.com/content/23/2/251.full.pdf+html
Из справочников иногда заглядываю в Everitt B.S. (2002) - The Cambridge Dictionary of Statistics (можно найти в сети в pdf). Но почему-то больше полюбился этот: http://www.mhhe.com/business/opsci/bstat/keyterm.mhtml . Хотя в нём бывает не хватает определений терминов, все статьи очень лаконичны и хорошо иллюстрированы.

[anserovtv]

Рекомендовать сложно, одно лучшо дано в одних источниках, другое - в других. По обсужаемой теме информации много, есть даже совсем свежие публикации:
http://tap.sagepub.com/content/23/2/251.full.pdf+html
Из справочников иногда заглядываю в Everitt B.S. (2002) - The Cambridge Dictionary of Statistics (можно найти в сети в pdf). Но почему-то больше полюбился этот: http://www.mhhe.com/business/opsci/bstat/keyterm.mhtml . Хотя в нём бывает не хватает определений терминов, все статьи очень лаконичны и хорошо иллюстрированы.

А на русском языке ничего нет?
Достаточно грамотно написана книга Р.Вадзинского , хотя она уже устарела.
Статистические вычисления в среде Excel.2008.

[Usya]

Или как относиться к вашей фразе "ошибка первого рода контролируется уровнем значимости"? Не совсем корректно употреблены фразы.

Неужели? Полагаю, что когда вы прочитаете достаточно, то сможете объяснить почему фраза вполне корректна.

Уровень значимости - это вероятность ... получается, что ошибка первого рода контролируется вероятностью ... Слово контролируется (имхо) здесь не совсем удачно. Интуитивно понятно, что имелось ввиду, но мне как раз и нужны фразы либо определения, к которым формально придраться нельзя, чтобы избежать двусмысленности в дальнейшем.

На ГОСТы ориентироваться нельзя, т.к. отчасти это - устаревший и безграмотный материал.

С этим я отчасти согласен. Поэтому ссылаюсь не только на ГОСТ. Ляпы везде есть.

Достаточно грамотно написана книга Р.Вадзинского , хотя она уже устарела. Статистические вычисления в среде Excel.2008.

Не нашел. Встретил только старый вариант 2001, в котором нужных мне вещей не увидел.

А про различие подходов Фишера и Неймана-Пирсона с указанием источников можно прочитать хотя бы в википедии: http://en.wikipedia.org/wiki/Statistical_hypothesis_testing

"Мы все учились понемногу чему-нибудь и как-нибудь...". К сожалению мой английский оставляет желать лучшего и скорее всего в ходе перевода возникнут свои вопросы по его правильности...

Если не сложно, можно дать строгие определения трем понятиям: уровень ошибки первого рода, уровень значимости и уровень достоверности, чтобы можно было понять их отличия?

Определение ошибки первого рода во всех первоисточниках почти однозначно:
Ошибка первого рода - это ошибка, состоящая в отбрасывании нулевой гипотезы, в то время как эта гипотеза верна.

Сообщение отредактировал Usya - 10.11.2013 - 20:09