Пожалуйста, научите считать доверительный интервал в Excel! понимаю, что очень глупая просьба, но....
Я изучала распространенность бронхиальной астмы в городе Н - получилось следующее: опрошенных 567, больных из них 37, распространенность 6,53%. По области, в которой находится город Н, распространенность от 5,7% до 5,9%. Рецензент, прочитав мою статью, прислала следующее: "При сопоставлении распространенности БА необходимо сравнивать известные популяционные величины и доверительный интервал данного исследования, а не точечную оценку. Так, 95% ДИ для распространенности БА 37/567=6.53% составляет 4.75-8.89. Данный интервал включает величины распространенности БА в городах области (5.7-5.9%), следовательно, различий в распространенности БА в сравниваемых регионах нет". Как получился этот ДИ 4,75-8,89? Недавно нашла на этом форуме как считать критерий Стьюдента в Excel - описано было очень подробно, шаг за шагом, доступно для таких чайников как я - супер! если можно, то в таком же ключе напишите

Два пути:
1. Загружаете программу Two-by-two по ссылке http://www.med.uio.no/imb/stat/two-by-two/installation.html. В архиве программы будет файл Clopper-Pearson.xls, который производит искомые расчеты.
2. Загружаете программу AtteStat по ссылке http://attestatsoft.com. Интересующая Вас опция находится в модуле "Описательная статистика". Называется "Доля". В Справочной системе - необходимые ссылки.
Данные вводятся так:
37 1
530 0
Первый столбец - численности классов, второй интервал классов. Отмечаете, что тип данных - группированные.

В силу того, что формулы вычисления доверительного интервала доли могут быть различными, результат может незначительно отличаться от приведенного Вами. Для сравнения возможно использование и других критериев для бинарных выборок.

Объем выборки равен n=567. Количество больных в выборке равно m=37. Распространенность астмы (доля больных) в городе равна p=37/567=0,0653
Стандартная ошибка доли равна s=sqrt[p(1-p)/n]=кв.корень[0,0653*(1-0,0653)/567]=0,01
Объем выборки n=567 достаточно большой ( n*p=37>5 и n*(1-p)=530>5 ), чтобы можно было применить центральную предельную теорему. Из нее следует, что оценка доли p подчиняется нормальному распределению со средним p и стандартным отклонением s. Следовательно 95%-ый доверительный интервал для доли p равен =[p-2*s, p+2*s]=[ 0,0653-2*0,01, 0,0653+2*0,01]=[0,0453, 0,0853]

На самом деле ответ на вопрос, как считать доверительный интервал для долей не так уж прост - много копий сломано вокруг этой темы. Действительно, в случае большой выборки можно использовать нормальную аппроксимацию (метод Вальда), единственно, что доверительный интервал равен [h-1.96s;p+1.96s], округление значения z нормального распределения для вероятности 0,025 до двух используется для ускорения расчетов и в статьях не приемлимо.
Для упрощения работы я создал Экселевскую табличку, которая рассчитывает наиболее важные интервалы и креплю ее к этому посту (свернутую rar'ом по требованиям форума). Там (очевидно) надо поменять количество обследованных (N) и количество лиц с признаком (k), остальное все считается автоматом. Интересующиеся могут оценить формулы из формул экселя.
Результат для данного случая:
4,64% 8,88% Метод Клоппера-Пирсона
4,49% 8,56% Нормальная аппроксимация (Вальд)
4,77% 8,87% Метод Вилсона
4,59% 8,99% По распределению Пуассона (через хи2)
4,75% 8,89% Откорректированный метод Вальда
Кстати, рецензент использовал откорректированную нормальную аппроксимацию (откорректированный метод Вальда).
Agresti считает, что откорректированный метод Вальда является наиболее простым и точным. Он отличается от нормальной аппроксимации (в случае 95%ДИ) изменениями при расчете р. Новое значение равно р'=(k+2)/(N+4). Далее используется формула нормальной аппроксимации только в ней заменяется р на р', а N при расчете s на N+4.

Известная дискуссия. Вот пара ссылок, отражающая текущее состояние
1. Pires A.M., Amado C. Interval estimators for a binomial proportion: Comparison of twenty methods // REVSTAT - Statistical Journal, June 2008, vol. 6, no. 2, pp. 165-197.
2. Pires A.M. Confidence intervals for a binomial proportion: comparison of methods and software evaluation // Proceedings of the Conference CompStat 2002 - Short Communications and Posters / Ed. by S. Klinke, P. Ahrend, L. Richter, 2002.
Вторая доступна http://www.math.ist.utl.pt/~apires/PDFs/AP_COMPSTAT02.pdf
Но пользователю нужно не 20 методов. Нужен 1 метод. И этот метод - предлагается Клоппера-Пирсона.

Спасибо огромное


Спасибо)))) табличка просто супер!


спасибо большое)

А вот Agresti (Agresti, A., and Coull, B. (1998). Approximate is better than 'exact' for interval estimation of binomial proportions. The American Statistician, 52, 119-126. ) считает, что лучше всего модифицированный метод Вальда . Аналогичной точки зрения придерживаются и другие статистики (Sauro, J & Lewis, J R (2005) " Estimating Completion Rates from Small Samples using Binomial Confidence Intervals: Comparisons and Recommendations" in Proceedings of the Human Factors and Ergonomics Society Annual Meeting (HFES 2005) Orlando, FL: http://www.measuringusability.com/sauro-lewisHFES.pdf).
Однако я не случайно привел доверительные интервалы всеми методами - разница очень небольшая и на интерпретацию вряд ли повлияет. Если нравится Клоппера-Пирсона - пожалуйста, но модифицированный метод Вальда проще (особенно для 95% ДИ), и не надо возиться с таблицами F-распределения, да и базируется на формуле, которая есть во всяком учебнике, а вот формулу для Клоппера-Пирсона и не всюду найдешь

Увы, не разделяю Ваших восторгов. Табличка - пример недопустимой неряшливости. Подставьте в нее N=10 (или даже 100) и k=0 и увидите, что получается. По Clopper-Pearson, слава богу (вернее, слава Святославу), табличка считает все правильно. Но и тут недочет. Программка приучает пользователя использовать только одну (снисходительную) вероятность накрытия (синонимы: вероятность доверия, доверительная вероятность, доверительный уровень) - 95%. А на самом деле надо приучаться вычислять интервалы накрытия (синонимы: интервалы доверия или доверительные интервалы) как минимум для все трех традиционных уровней 95%, 99% и 99,9%. Посчитайте несколько раз и убедитесь, что это имеет смысл. Тогда мы получаем элемент того, что в литературе называют "функцией доверия" - confidence fuction or P-value function) и вслед за Колмогоровым и другими я предпочитаю ориентироваться на уровень накрытия = 99,9% и, соответственно, на уровень значимости альфа а=0,001.
Про а=0,05 и 95% вообще предлагаю забыть как про страшный сон.
Итак, в предлагаемой табличке нахваливаемый "откорректированный" (adjusted - подогнанный, уточненный, модифицированный) метод Вальда выдает полную чушь: левая (нижняя) граница интервала накрытия оказывется отрицательной: -4,34% ! Я-то считал, что методы Wilson и adjusted Wald - это одно и тоже, а тут они представлены как различные методы, которые выдают разные результаты. Это наглядный пример того, что создатели программ обязаны приводить в явном виде формулы, задействовавнные в программе или (на худой конец) давать ссылки на доступные источники. Кроме того, создатели программ обязаны сообщать, проверяли ли они правильность вычислений и (или) апробировали ее путем сравнения с "эталонными" программами. В противном случае, авторы программ обязаны указывать, что они ни за что не отвечают и пользователь использует ее на свой страх и риск (есть такая формулировочка).
Часто рекомендуемый метод Agresti-Coul (в основном за свою простоту, которая, как известно хуже клептомании) в данном случае тоже выдает отрицательную левую границу: -4,3%. Сосчитано с помощью программки на сайте: http://www.ausvet.com.au/epitools/content....ge=CIProportion К тому же этот метод строго говоря пригоден только для доверительной вероятности 95%.
Короче, метод Clopper-Pearson можно считать вполне универсальным, но использовать лучше электронную таблицу Clopper-Pearson.xls или AtteStat, о которых писал Игорь. Но в AtteStat надо произвести 13 мелких операций, а в Clopper-Pearson - всего 3 или 4. Есть еще аналогичный апплет: Exact Binomial and Poisson Confidence Intervals на сайте: http://statpages.org/confint.html Его можно сохранить как web-старницу и работать offline.
Можно использовать и STATISTICA, но в ней надо знать, что построение интервалов накрытия запрятано в разделе Анализ Мощности.
Путь, который надо проделать, чтобы добраться до него, длинноват:
Statistics -> Power Analysis -> Interval Estimation -> One proportion, Z, Chi-square Test -> Observed proportion + Sample Size + Conf. Level
Но это еще полбеды:
"Observed proportion' означает, что пользователь должен где-то на стороне вычислить наблюдаемую долю (непонятно, с какой точностью, с каким разделителем десятичных частей и т.п.). - лишние хлопоты...
"Conf Level" ограничен значением 0.99 (99%). Однако, знающие люди подсказали, что можно вводить любой Conf.Level, если набирать его вручную.
Удивительно, но факт: в SPSS процедура построения интервалов накрытия отсутствует.
Я предлагаю избегать эмоциональной окраски в статистичексих терминах. Поэтому я и пытаюсь навязать более индиферентный термин: Интервал Накрытия, тем более, что он более отражает его суть. И это не моя прихоть, зачастую его так и называют cover (covsring) interval.
Он означает, что если мы многократно повторим наши наблюдения, то ПРИМЕРНО в (1-α)×100% случаев интервалы, получаемые с помощью данной процедуры, будут накрывать оцениваемое (никому неизвестное) значение параметра θ. То есть с уверенностью (надежностью) (1-α)×100% мы можем надеяться, что вычисленный нами ДИ для данной выборки «поймает» (накроет) искомое значение θ.
Но в α×100% случаев мы можем «промахнуться». И промах этот может случиться как раз с данной конкретной выборкой.
Поэтому опять и опять мы приходим к выводу о неизбежности (необходимости) многократно повторять опыты (или наблюдения). Это похоже на игру (развлечение, аттракцион), которая была в пионерлагерях или домах отдыха - набрасывание колец на штырь. Только у колец "случайный" диаметр.
Наглядно и познавательно это промоделировано в обучающей программе WinStats: http://math.exeter.edu/rparris/winstats.html
В этой связи мне нравится интерпертация интервалов накрытия в терминах достижений нашей жизни:
"Смысл «95%-й доверительной вероятности» можно интерпретировать в терминах достижений Вашей жизни. Если Вы за всю свою жизнь построили много 95%-х ДИ (и если в каждом случае были удовлетворены необходимые условия), то приблизительно 95% этих ДИ действительно содержали соответствующие им средние значения. Обучаясь на курсах гольфа в доме престарелых и вспоминая свою жизнь, Вы чувствуете удовлетворение от того, что в 95% случаев Ваши ДИ были правильными. К этому чувству примешивается также огорчение, поскольку 5% интервалов были неверны. И Вы никогда не сможете узнать, в каких случаях результаты Вашего труда были верны, а в каких нет!" Сигел Э. Практическая бизнес-статистика. ? М.: Издательский дом «Вильямс», 2004. ? 1056 с. (с. 418-419). Sic transit gloria mundi. Такова истинная сущность статистических выводов.
Всем всех благ,
Никита

Прежде, чем начинать поучать всех рекомендую хоть немного смотреть на то, что критикуете. Ваша позиция (1) я умный, (2) все остальные дураки, доводит Вас до глупых ошибок и выставляет Вас как раз в обратном свете
А) "Программка приучает пользователя использовать только одну (снисходительную) вероятность " - любой, кто попытался бы немного посмотреть на экселевский файл обнаружил бы, что ширина доверительного интервала (ячейка H1) легко меняется. Критик этого не попробовал - у него была другая задача.
Б) "Подставьте в нее N=10 (или даже 100) и k=0 и увидите" просто плохое знание применимости разных методов. При нулевом количестве положительных исходов, да и вообще при близком к нулю и единице, биномиальные вероятности не применимы - надо пользоваться распредлением Пуассона. Критик этого не знает? но тогда он занимается не своим делом, либо знает, но ему очень хочется показать, какой он умный за счет других (кстати, это видно и во всех других постах, но на вопросы автор никогда не отвечает).
При желании автор мог бы указать, что при k=0 просто нельзя пользоваться оценкой долей, равной k/N, а надо пользоваться, например, методом Лапсласа, но он, вероятно, этого просто не знает. И, кстати, он, наверное, знает другие методы Вальда? Если да, то очень хотелось бы увидеть формулы.
В) "создатели программ обязаны приводить в явном виде формулы" - между прочим, в Экселе формулы представлены в явном виде. Если неизвестно, что можно щелкнуть по ячейке и вся формула появится, даже крупный специалист по критике чужих статистических методов может разобраться
Г) Необнократное повторение идеи о преимуществе метода Клоппера-Пирсона на чем-нибудь основывается? Дайте, пожалуйста, ссылку на свою работу, опубликованную в приличном журнале, где бы Вы доказали (например, Монте-Карло), что этот метод лучше? Потрубились бы скачать указанные в посте выше ссылки и поняли бы, что в литературе присутствует иное мнение.

В целом. Прежде, чем критиковать, разберитесь в том, о чем идет речь. Хотите, чтобы на вас обратили внимание - не критикуйте других, а сделайте что-нибудь полезное, ответьте на вопросы, которые возникают у аспирантов, приходящих на этот форум. Если не можете ответить, тогда лучше ничего не пишите, а то, право слово, постоянные ссылки на "великого Колмогорова" и "р=0,001" уже утомили (кстати, а граница р=0,0015 Вас чем не устраивает? А?).

О tempora, o mores!
Стыд-то какой! Стиль-то какой! Фи? Не хватало нам еще подраться? Давайте, не будем позориться, а то так мы с Вами всех форумчан распугаем. Мы спокойно можем встретиться ? благо живем в одном городе ? и обсудить спорные вопросы, смотря в глаза друг другу.
Глубокоуважаемый ..., приношу Вам свои наиглубочайшие и наиискреннейшие соболезнования. Обещаю впредь не давать повода для такой неадекватной реакции.
Но и от Вас я требую незамедлительно и публично извиниться предо мной. После этого забудем этот неприличный казус как страшный сон (и на плавуху бывает проруха).
Возможно мне следовало представиться раньше. Исправляю оплошность. Я, Никита Николаевич Хромов-Борисов, дважды ветеран (войны и труда), химик, генетик и биометрик, соавтор учебника ?Биометрия? и автор ?биометрического? Приложения к учебнику Л.З. Кайданова ?Генетика популяций?. ?Биометрия? награждена дважды: Университетской премией и дипломом Минобраза СССР. Если не 40, то уж всяко больше 30-и лет я преподаю биометрию разного уровня сложности (читаю лекции, веду практикумы и консультации по биометрии) для биологов и медиков. Не только в СПбГУ, но и в Бразилии (около 5 лет) и в Швеции (3 месяца). Да и соавторы у меня достойные:
Глотов Н.В., Животовский Л.А., Хованов Н.В., Хромов-Борисов Н.Н. Биометрия, Л.: Изд-во ЛГУ, 1982. ? 264 с.
?Один из лучших российских учебников по биометрике. В нем рассмотрены все основные статистические методы, применяемые при анализе биомедицинских данных. Авторы учебника - известные специалисты по биометрике, преподающие в российских и зарубежных университетах и занимающиеся научными исследованиями в данной области? (В.П. Леонов). http://www.biometrica.tomsk.ru/
Хромов-Борисов Н.Н. Биометрические аспекты популяционнной генетики. Новые генетические механизмы и их роль в генетико-популяционных процессах. Список рекомендуемой литературы. В кн.: Кайданов Л.З. Генетика популяций. ? М.: Высшая школа, 1996. - 320c.

?Без преувеличения можно сказать, что это лучший учебник по генетике популяций! Интересен он еще и тем, что Приложение в этом учебнике содержит 50 страниц посвященных биометрическим аспектам популяционной генетики. Автор Приложения - Н.Н.Хромов-Борисов, который несколько лет проработал в одном из бразильских университетов. Настоятельно рекомендую всем нашим читателям обязательно познакомиться с этим Приложением! Оно написано специалистом, влюбленным в свой предмет! Вы найдете здесь многочисленные исторические экскурсы о выдающихcя ученых, оставивших свой след в популяционной биометрике. Заслуживает внимания и эпиграф к этим Приложениям: "К статистике давно в душе питаю страсть я, И геология внушает мне участье..." Кто автор этих строк, вы узнаете, прочитав этот прекрасный учебник? (В.П. Леонов). http://www.biometrica.tomsk.ru/

Н.В.Глотов, А.А.Филатов, Н.Н. Хромов-Борисов. Сборник задач по биометрии. - Л.: Изд-во Ленингр. ун-та, 1985. ? 98 с.
Недавняя изящная работа о красоте в науке: Хромов-Борисов Н. Н., Saffi J., Henriques J. A. P. Упорядоченный посев и пуассонер ? высокоточная техника количественной микробиологии. Медицина. XXI век ? 2 {11} 2008. ? С. 92-97.
Хромов-Борисов Н.Н., Лаззаротто Г.Б., Кист Т.Б.Л. Биометрические задачи в популяционных исследованиях. Методы популяционной биологии (Материалы докладов VII Всероссийского популяционного семинара (Часть 2). 16-21 февраля 2004 г. Сыктывкар. С. 62-86.

Smolyanitsky A. G., Ivanov P. L., Kornienko L. V., Zamaraev V. S., Perepechina I. O., Komarovsky Yu. A., Pushkarev V. P. Towards Russian reference population data on STR loci. International Congress Series, Vol. 1261, Progress in Forensic Genetics, 2004. V.10, 242-242.
Smolyanitsky A. G., Popov V. L., Zaslavsky G. I., Rogozin I. B., Henriques J. A. P., Kist T. B. L., Scheil H.-G. Statistical pattern analysis of D1S80 alleles in Northwestern Russians and worldwide database using COLLAPSE software. International Congress Series, Vol. 1239, Progress in Forensic Genetics, 2003, V. 9, p. 665-671.
Picada J. N., Henriques J. A. P., Khromov-Borisov N.N. Dose finding in the Ames Salmonella assay. Mutation Res., 2000, V. 435, p. 36-47.
Khromov-Borisov N.N., Rogozin I. B., Henriques J. A. P., de Serres F. J. Similarity pattern analysis in mutational distributions. Mutation Res., 1999, V. 430, p. 55-74.

Khromov-Borisov N.N., Henriques J.A.P. Good statistics practice (GSP) in genetic toxicology. Mutation Res., 1998, V. 405, p. 97-108. Erratum: Mutation Res., 1999, V. 423, 189.

Ivashchenko T.E., Glazkov P.B., Baranov V.S., Khromov-Borisov N.N. Population study of CTG trinucleotide repeats in the gene for myotonic protein kinase I. Russian. J. Genet., 1997, V. 33, p.1098-1101.
Khromov-Borisov N. N. Biometrical aspects of measuring mutation rates. Methods in Cell Biology, 1978, Vol. 20, p. 20-24.
Компьютерные программы:
И.Б.Рогозин, Хромов-Борисов Н.Н. COLLAPSE ? анализ паттерна сходства в популяционных данных.
Khromov-Borisov N.N. Kist T.B.L., Lazzarotto G.B. SANCT ? structural analysis of contingency tables.
Kochetkov N.K., Budowsky E.I., Domkin V.D., Khromov-Borisov N.N. On the structure of polynucleotides obtained by condensation of nucleoside-2?(3?)-phosphates with polyphosphoric ester. Biochim. Biophys. Acta, 1964, V. 80, N 1, p.145-148.
Переводы книг:
Нолтинг Б. Новейшие методы исследования биосистем. ? М.: Техносфера, 2005. ? 245 с.
Сомпайрак Л. Что такое рак? - М.: Техносфера, 2006. ? 230 с.
МакКонки Э. Геном человека. ? М.: Техносфера, 2008. ? 287 с.

Программу Clopper.xls скачали уже почти 40 человек. Господа, поднимите руки, кто из Вас догадался, что именно ячейка H1, а не ячейка D2 предназначена для задания доверительного уровня (синоним: доверительная вероятность). [Плав, извините, ?ширина? ДИ ? это нечто иное]. Я не догадался и безуспешно пытался изменить содержимое ячейки D2. Так что, Плав, признаю ? я был неправ. Но где гарантия, что другие форумчане тоже такие недогадливые? Очевидно, что нужна некая поясняющая сопроводиловка.

Отнюдь. Общеизвестна формула для вычисления вероятности k ?успехов? при N испытаниях в схеме Бернулли с параметром h (который есть вероятность ?успеха?):
p(k)={N!/[k!(N-k)]!} h^k(1-h)^N-k. По определению: x! (факториал x) есть произведение: x(x-1)(x-2)?1. При этом 0! = 1.
Подставим в эту формулу N и k=0 и получим:
p(0) = Pr{k=0} = {N!/[0!(N-0)!]} h⁰(1-h)^N-0. По определению: z⁰ = 1. Следовательно p(0)=(1-h)^N.
Теперь мы можем построить ТОЧНЫЙ двухсторонний (1-a)x100% ДИ для НЕИЗВЕСТНОГО параметра h. Как обычно выбираем ДИ с равными ?хвостами?. Это означает, что вероятности ненакрытия оцениваемого (неизвестного нам) параметра  этим интервалом слева и справа от него одинаковы и равны a/2.
Полагаем (1-h)^N = a/2 и решаем это уравнение относительно. В результате получаем выражение для правой (верхней) границы искомого интервала: h_right=1-(a/2)^1/N. Левая (нижняя) граница очевидно равна нулю: h_left=0.
Итак, границами искомого ДИ для частного случая, когда k=0, являются:
[0; 1-(a/2)^1/N].
Это и есть частный, но наглядный пример того, как работает процедура Клоппера-Пирсона для построения ТОЧНЫХ ДИ для параметра распределения Бернулли .
Краткая, четкая и ясная статья на эту тему есть в Wiki:
http://en.wikipedia.org/wiki/Binomial_prop...idence_interval
Но ссылки на web-калькуляторы тут далеко не лучшие.
Повторяю, это ? ТОЧНОЕ решение. Все остальные, основанные на известной АППРОКСИМАЦИИ биномиального распределения нормальным распределением в случае больших значений Nh(1-h), или основанные на аппроксимации биномиального распределения распределением Пуассона в случае малых значений Nh неизбежно являются ПРИБЛИЖЕННЫМИ, отнюдь не точными.
Как давно подметили Логин Николаевич Большев и Николай Васильевич Смирнов в своем гениальном труде ?Таблицы математической статистики?: ?С точки зрения обычных требований вычислительной математики и математической статистики точность нормального и пуассоновского приближений следует признать недостаточной (название этих приближений ?удовлетворительными? во многих вероятностных и статистических приложениях является следствием снисходительности авторов и часто основано на небольшом количестве удачно подобранных примеров, демонстрирующих ?удовлетворительное согласие? (3-е изд., 1983. - с. 68).

При желании автор мог бы указать, что при k=0 просто нельзя пользоваться оценкой долей, равной k/N, а надо пользоваться, например, методом Лапласа, но он, вероятно, этого просто не знает.
Отнюдь. При k=0, k/N есть точечная оценка для доли, и никакого запрета на ее использование не существует.
Оценка по Лапласу (k+1)/(N+2) относится к Бейзовской идеологии и методологии.
На русском языке это хорошо изложено в книге Борель Эм., Дельтейль Р., Юрон Р. Вероятности, ошибки. Пер. с франц. А.Л.Вайнштейна и Н.С.Четверикова. Серия ``Библиотечка иностранных книг для экономистов и статистиков``. М.: Статистика, 1972г. 176 с.

Как это нередко бывает, тут спор о словах: что считать ?явным видом?, т.е. наглядным и доступным пониманию. Дорогие форумчане, поднимите руки, кто из Вас способен сходу разобраться в подобных экселевских формула?
Немаловажно также, чтобы ячейки с вычислительными формулами были бы защищены.

Есть гораздо более серьезные и глубокие сравнительные исследования. В указанной Игорем работе Pires, Amado обсуждаются 20 методов:
Pires A.M., Amado C. Interval estimators for a binomial proportion: Comparison of twenty methods // REVSTAT - Statistical Journal, June 2008, vol. 6, no. 2, pp. 165-197.
Доступна по адресу: http://www.ine.pt/revstat/pdf/rs080204.pdf

Наиболее серьезными являются:
Brown, L.D., Cai, T. & DasGupta, A. (2001). Interval estimation for a binomial proportion (with discussion). Statistical Science 16, 101-133.
Brown, L.D., Cai, T. & DasGupta, A. (2002). Confidence intervals for a binomial proportion and asymptotic expansions. The Annals of Statistics 30, 160-201.
Они свободно доступны по адресам:
http://www-stat.wharton.upenn.edu/~tcai/pa...al-StatSci.html
http://www-stat.wharton.upenn.edu/~tcai/pa...ial-Annals.html
Новейшие работы:
Frank TUYL, Richard GERLACH, Kerrie MENGERSEN A Comparison of Bayes?Laplace, Jeffreys, and Other Priors: The Case of Zero Events. The American Statistician, February 2008, Vol. 62, No. 1, p. 40-44.

Диссертация: Frank Tuyl Estimation of binomial parameter: In defence of Bayes (1763). Scholl of Mathematics and Physical Sciences, The University of Newcastle, 2007. ? 369 pp.

Вопросы обучения обсуждают:
Michael Henderson; Mary C. Meyer Exploring the Confidence Interval for a Binomial Parameter in a First Course in Statistical Computing. The American Statistician, Vol. 55, No. 4. (Nov., 2001), pp. 337-344.

Кое-что полезное можно почерпнуть у румын:
Tudor DRUGAN, Sorana BOLBOACĂ, Lorentz JANTSCHI, Andrei ACHIMAŞ CADARIU Binomial Distribution Sample Confidence Intervals Estimation. 1. Sampling and Medical Key Parameters Calculation. Leonardo Electronic Journal of Practices and Technologies, Issue 3, July-December 2003, p. 45-74.
Sorana-Daniela BOLBOACĂ, Andrei B. ACHIMAŞ CADARIU, Binomial Distribution Sample Confidence Intervals Estimation 2. Proportion-like Medical Key Parameters,
Leonardo Electronic Journal of Practices and Technologies, 2:3 (July-December), 2003, p. 75-110.
Доступны по адресам: http://lejpt.academicdirect.org/A03/045_074.pdf
http://lejpt.academicdirect.org/A03/075_110.pdf
http://lejpt.academicdirect.org/A03/075_110.htm
http://lori.academicdirect.org/
http://sorana.academicdirect.ro/
У них же есть некий софт.

Если кого интересует, моя коллекция статей только про ДИ для долей превышает 100 Mb. Могу прислать ? не консервировать же мне их.

Да, еcть работы Agresti, уже в заголовке которых объявляется, что приближенное ?лучше? точного:
Agresti A., Coull B.A. Approximate is better than ??exact?? for interval estimation of binomial proportions. The American Statistician 1998; 52: 119?26.

Agresti A. Dealing with discreteness: making ?exact? confidence intervals for proportions, diferences of proportions, and odds ratios more exact. StatisticalMethods in Medical Research 2003; 12: 3-21.

Многое из того, что он рекомендует, реализовано в StatXact. Но как во всем этом разобраться пользователю? Речь идет не только о ДИ для долей, но и для их разностей, отношений (RR) и для отношений шансов (OR). Поэтому, если что-то рекомендовать, то очевидно надо рекомендовать более или менее универсальное.
Вот таким достаточно универсальным и является метод Клоппера-Пирсона. С ним не надо заморачиваться с тем, какие значения Nh(1-h) можно считать настолько ?большими?, чтобы можно было безбоязненно применять нормальную аппроксимацию; какие Nh можно считать настолько ?малыми?, чтобы можно было безбоязненно применять пуассоновскую аппроксимацию. При этом для различных доверительных вероятностей эти решения получаются различными.
Чем озабочены математики? Тем, что точные ДИ являются консервативными, т.е. часто получаемые границы накрывают оцениваемый параметр h с вероятностью, большей, нежели номинальное (заранее выбранное) 1-a. Но в наших делах лучше ?перестраховаться?, т.е. быть немного консерваторами, чем пытаться ?улучшить?, т.е. подогнать эту вероятность поближе к вожделенному 1-a.

В этой связи стоит прислушаться к мнению Cyrus Mehta и др. - крупнейших специалистов по точным методам статистики, создателей StatXact:
?Мы считаем, везде, где это только возможно, лучше сообщать точное Р-значение. Оно может быть консервативным, но оно же гарантирует удержание предела для вероятности ошибки первого рода на требуем уровне? (Руководство к StatXact-8, c. 1235).

Если озаботиться дидактическим аспектом проблемы, то именно метод Клопера-Пирсона разъяснить достаточно просто. Его суть ? ?выворачивание наизнанку? формулы для распределения вероятностей для биномиального распределения или другими словами, обращение этой формулы. Для нахождения Р-значения при проверке нулевой гипотезы Н₀ о равенстве параметра h некоему определенному значению h*: Но: h=h* нужно вычислить вероятность получить наблюдаемое (выборочное) значение h_набл. при условии, что Н₀ верна, и к нему добавить вероятности получить все другие значения, еще менее вероятные (при том же условии справедливости Н₀). А для нахождения границ ДИ надо выражение для суммы таких вероятностей приравнять заранее выбранному значению a/2 и решить такое уравнение относительно h.
Так же легко понять суть метода Wilson. Он есть решение квадратного уравнения (h_набл ? h*)/{sqrt[h_набл(1-h_набл)/N]}= +_ z_a/2. Его надо решить относительно h* в качестве неизвестного. При возведении этого выражения в квадрат достаточно его легко преобразовать к каноническому виду квадратного уравнения типа ax² + bx + с = 0. Два его корня и есть границы искомого ДИ.



Совершенно верно: фиксированные значения α=0,01; α=0,001 и т.п. являются лишь некими вешками, ориентирами. Ср.: ?Никакой отдельно взятый эксперимент, как бы значим он ни был сам по себе, не может считаться достаточным для доказательства какого-либо реального факта ? ?один шанс на миллион? все равно будет обязательно осуществляться не реже и не чаще, чем ему положено, как бы мы ни удивлялись, произойди такое с нами?. Р. А. Фишер. Математика дамы, дегустирующей чай. В сб.: Современные проблемы математики. ? М.: Знание, 1981.
Забавно, как возникли эти злополучные пресловутые 0,05; 0,01. М. Кендалл вспоминал, что Фишер составил таблицы критических значений (для уровней значимости 0,05; 0,02 и 0,01) из соображений компактности и удобства пользования, а также с целью избежать проблемы авторства с Карлом Пирсоном, которого он недолюбливал.
При обсуждении ?гибких? Р-значений авторы обычно ссылаются все на того же Фишера: ?В действительности ни один исследователь не пользуется фиксированным уровнем значимости с которым из года в год и при любых обстоятельствах он отвергает нулевые гипотезы. Он больше доверяет своему уму и каждый конкретный случай рассматривает в свете совокупности имеющихся доказательств и своих идей и представлений?. R. A. Fisher R. A. Statistical Methods and Scientific Inference, 1956.
Мой Учитель по генетике Михаил Ефимович Лобашёв говаривал: ?Делайте все, что хотите, только не забывайте о последствиях и об ответственности?.

О полезном. Предлагаю модераторам попытаться совместными усилиями создать современное руководство по аналитической статистике. Наш опыт показывает, что лучше всего работать коллективом. Пусть будет хоть 10-20 авторов, но надо придти к консенсусу и выдать на-гора достойный продукт.
?Вероятность того, что кто-то одновременно является математиком и естествоиспытателем и что такой человек захочет и сумеет написать учебник, настолько мала, что таких специалистов следует специально разыскивать по всей планете, чтобы встретить такой редкий случай?
Штейнгауз Г. Математика ? посредник между духом и материей. ? М.: БИНОМ. Лаборатория знаний, 2005. ? 351 с.

Всем всех благ. С уважением, Никита Николаевич Хромов-Борисов. Nikita.KhromovBorisov@gmail.com
PS Забыл еще упомянуть, что я член Общественного экспертного совета по статистике, организованного Василием Петровичем Леоновым, членом которого является и уважаемый

Пару-тройку реплик, если можно.

Мне не показался файл, предложенный плав, сложным. У нас не принято изучать программу, прежде чем ей пользоваться. Это я об Excel. Но одно дело, когда Справку принципиально не читает ас-программист (отмечу, что на некоторых программистских фирмах такой подход официально принят, чтобы намеренно или случайно не позаимствовать чужие идеи - это чревато большими правовыми проблемами), совсем другое - обычный пользователь. Причем речь идет о достаточно сложной вычислительной программе. Поэтому призыв Nikita о голосовании уточнил бы: "Дорогие форумчане, поднимите руки, кто из Вас прочитал хоть одну книгу по Excel?"

Снять защиту с листа, отобразить скрытые ячейки, проследить взаимосвязи формул - если пользователь этого не умеет, следует занять самообразованием. Учиться - это не зазорно, это всегда полезно.

Точно так же можно нажатием пары клавиш выявить "лузера" в отношении Word. Как? Посмотрите список использованных стилей. И не надо заявлять, что мы умеем пользоваться Word, Excel и т.п.

У Клоппера-Пирсона есть одна небольшая проблема - он универсален только теоретически (впрочем, так же, как и все "точные" методы). Метод трудно реализуется для больших выборок. Сказал бы более строго - метод работает только на "малых" выборках (не более нескольких тысяч). Это вызвано проблемами вычисления F или бета-распределения. Тот же Вальд "работает" на любых выборках. Тут стандартный подход имеет смысл - для малых выборок - точные вычисления, для больших - аппроксимации. И логично, и строго.

К сожалению, красивая утопия.

Это радует. (Кстати, я тут видел шведскую девочку-статистика, которая показывала доверительный интервал 92-103%, так что не надо про "зарубежные университеты")
Если серьезно, то Вы считаете, что вышенаписанное дает Вам право писать:

хотя "недопустимой неряшливостью" была лишь Ваша неспособность разобраться в простенькой табличке? Я сомневаюсь. Вы все время стараетесь найти ошибки у других. И выходит это боком, потому, что ошибки могут сделать все, в том числе и Вы. Вместо того, чтобы искать у других плюсы, Вы ищете минусы (это же не первый, не второй и даже не третий раз). Очень хочется быть судьей, но у "не судите, да не судимы будете" есть ведь и обратная сила...


А вот не надо за других говорить (кстати, это не программа, это иллюстрация к обсуждению). Проблема как раз и заключается в том, что Вы даете советы тогда, когда Вас об этом не просят. Захотят сопроводиловку - будет. Вам нужно? Вы будете в преподавании использовать? Нет? Тогда зачем пишете?


Точное, да не точное. Распределение дискретное, поэтому "точный" 95% доверительный интервал не является 95%. Если бы Вы потрудились прочитать статью Агрести и посмотреть внимательно статьи, которые сами цитируете ниже, Вы бы обнаружили, что "точный" 95% доверительный интервал на деле является 98-99%. О том, почему это важно, я скажу ниже.


А теперь задумайтесь. Итак оценка популяционного значения доли р=k/N=0. Итак, мы предполагаем, что у нас урна с красными шарами. Мы оттуда берем выборку и ожидаем найти в ней черные шары? А именно это Вы предполагаете своим доверительным интервалом. А вот если используется оценка по Лапласу, то предполагается, что в урне все-таки есть черные шары. И Байес тут не при чем. Статистическая обработка данных предуматривает их осмысление, а не просто расчеты.


Не буду повторять все ссылки - старый прием - засыпать оппонента цитатами, авось не посмотрит, что внутри. А я рекомендую заглядывать. Так вот, повторю вопрос (в большинстве перечисленных статей ответа на него нет). В какой из этих ссылок написано, что интервал Клоппера-Пирсона - лучший? В части из них он просто не упоминается, в других основной вывод, что метод Агрести - один из лучших.
И чтобы читатели не думали, что Вы не одиноки в критике метода Агрести:
"To summarize, the conclusion is that the Agresti?Coull interval dominates the other intervals in coverage, but is also longer on an average and is quite conservative for p near 0 or 1. The Wilson, the likelihood ratio and the Jeffreys prior interval are comparable in both coverage and length, although the Jeffreys interval is a bit shorter on average. If we also take simplicity of presentation and ease of computation into account, the Agresti?Coull interval, although a bit too long, could be recommended for use in this problem."
Это Brown, которого Вы рекомендовали мне как ответ на вопрос, где показано, что метод Клоппера-Пирсона - лучший.
А вот Pires & Amado, также из Ваших ссылок:
"If strict conservativeness is mandatory than he or she must choose the Clopper?Pearson interval, or, almost equivalently, the arcsine interval
with Anscombe?s correction.
If strict conservativeness is not a major concern then length must be, subject to being at least correct on average. It is also wise to limit
the ?damage? measured by the overall minimum of the coverage probabilities and the recommendation is to choose, in the case of 95% confidence, either the Arcsin cc method or the Add 4 method. For 99% confidence the recommended method is the Add 4.
For elementary courses, typically less mathematically oriented and often unique, simplicity and lack of time for in depth discussions are a major concern. The Add 4 method of Agresti and Coull (1998) appears as a good choice, its properties are good and it is easy to compute."
Что-то не видно тут однозначного указания на то, что "Короче, метод Clopper-Pearson можно считать вполне универсальным"

Напомню, Ваши слова

И тут Вы опять промахнулись. На самом деле метод пригоден для любой доверительной вероятности, просто Вы нашли не ту формулу. Но подобные заявления простительны для студента, а для автора учебника, получившего много наград...


А почему математики (и не только) этим обеспокоены, если есть столь логичное правило "Но в наших делах лучше «перестраховаться»"? Да потому, что в реальном мире статистика используется для научных исследований. И в этом реальном мире больший "консерватизм" означает необходимость большего размера выборки, а больший размер выборки означает большую стоимость исследования. Это означает, что различий между группами найдено не будет, хотя в реальности они существуют. К сожалению, постоянные упоминания о необходимости сделать р=0,001 свидетельствуют о том, что человек не планировал размер выборки для научного исследования, поскольку в этом случае он бы столкнулся с необходимостью обеспечения высокой мощности исследования и при такой вероятности ошибки первого типа стоимость исследования была бы очень большой. Спонсор бы начал спрашивать, а все ли считают 0,001 обязательным уровнем ошибки I типа и тут бы ситуация стала выглядеть для такого статистика грустно. И вот за совет "Про а=0,05 и 95% вообще предлагаю забыть как про страшный сон" статистик просто стал бы persona non grata. Не потому, что спонсор плохой, а потому, что такой совет отражает непонимание основ планирования исследования и разницы между априорно более и менее вероятными гипотезами.


И теперь объясните аспиранту-медику (или своим "специалистам общественного здоровья") методику расчета интервала Клоппера-Пирсона через бета-распределение (или "прямой расчет"). И посмотрим, насколько просто это ему покажется. И почему же авторы, на которых Вы ссылаетесь в поддержку своей точки зрения, рекомендуют использовать в обучении метод Агрести (см цитаты выше)?

Я опять повторю, но не рекомендацию - а требование, модератора этого форума. Есть желание отвечать на вопросы аспирантов - будем только приветствовать. Найдете чужие ошибки - сообщите в личку, авторы исправят. Есть основная причина появление на форуме - критика тех, кто отвечает на вопросы - закроем доступ. Люди здесь стараются помочь аспирантам, если им в этом будут мешать, они просто с форума уйдут.

Я перед Плав повинился, а Плав струсил. Хотя ничто не ценится так дорого и не стоит так дешево...
Сюда я больше не ходок.
На прощанье замечу, что смертельно обидевшись на безобидный полушутливый эпитет «небрежный», Плав сам здесь признал, что Clopper.xls «не программа, а иллюстрация к обсуждению». А народ ее уже скачивает (и наверное, судя по восторгам, активно пользует). Без четких разъяснений обязательно кто-то из пользователей воспользуется неадекватным ДИ, полученным с «помощью» «иллюстрации» Clopper.xls

Что касается того, что для получения надежных статистических значимостей на уровне 0,001 надо много работать, а это слишком дорого, то это из той оперы, когда скупой платит дважды. И в нашем случае платит пациент (и деньгами и здоровьем). А потом выясняется, что эффект, объявленный статистически значимым на уровне 0,05, не воспроизводится. Наука не даётся малой кровью. В научной литературе накоплены обширные сведения о том, что не менее 50% (а то и все 95%) «открытий», значимых на уровне 0,05, не воспроизводятся. См.: Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124. doi:10.1371/journal.pmed.0020124

Цифра низкой воспроизводимости таких «открытий» подтверждается и вычислениями по калибровке Р-значений и вероятностей воспроизведения.

Pval - P-значение; Ho - нулевая гипотеза; H1 - альтернативная гипотеза; D - данные; Prep - вероятность воспроизведения.

Только при Р-значении 0,001 вероятность нулевой гипотезы H0 может приближаться к 2%, а вероятность воспроизведения наблюдаемого эффекта моежт приближаться к 90% !

Источники:
Thomas Sellke, M. J. Bayarri and James O. Berger. Calibration of p Values for Testing Precise Null Hypotheses. Source: The American Statistician, Vol. 55, No. 1 (Feb., 2001), pp. 62-71. Stable URL: http://www.jstor.org/stable/2685531 URL for draft: http://www.stat.duke.edu/~berger/papers/99-13b.ps

Формулы:
Нижняя граница Бейзова фактора (множителя, коэффициента) B для H0 по отношению к H1:
B=-epln(p) для p<1/e, где e - основание натурального логарифма, p - P-значение.
Для частотнической вероятности ошибки I рода (в отклонении H0):
Alpha(p)=B/(1+B)

Подробности и в частности мощное влияние на Р-значение объема выборки см.:
Adrian E. Raftery. Bayesian Model Selection in Social Research. Sociological Methodology, Vol. 25, (1995), pp. 111-163. Stable URL: http://www.jstor.org/stable/271063
Raftery, A.E. (1999). Bayes factors and BIC - Comment on "A critique of the Bayesian information criterion for model selection". Sociological Methods and Research, 27, 411-427.

Prep и другие можно вычислить с помощью программы LePAC или отдельного модуля LePREP:
http://lmrs.math.cnrs.fr/Persopage/Lecoutre/ErisA.html
См. также Сергиенко В.И., Бондарева И .Б. Математическая статистика в клинических исследованиях. ? М.: ГЭОТАР-Медиа, 2006. ? 304 с.

1) Ну вот, опять очень хочется доказать, что работа другого плохая, даже если это не так. Так, для информации, "иллюстрация" не означает "неверная", хотя подобный ход мысли наводит на интересные заключения.
2) Кто сказал, что интервал "неадекватный"? Интервал абсолютно "адекватный", такой как принят в большинстве научных медицинских публикаций. Достаточно просто зайти на сайт BMJ или NEJM.
3) Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124. doi:10.1371/journal.pmed.0020124.
Интересная статья, в свое время наделала из-за названия много шума, но только там нет доказательств того, что "не менее 50% (а то и все 95%) «открытий», значимых на уровне 0,05, не воспроизводятся". Это чисто теоретический анализ планирования исследований. Кстати, утверждение в статье, что "false findings may be the majority or even the vast majority of published research claims" базируются на ссылках на три работы, все из области генетики и две из них принадлежат перу того же автора, что и статья (Ioannidis). В генетике действительно очень много проблем. Но это не означает, что вся остальная медицина совершает те же ошибки, что и генетики.
Кстати, реальные цифры того же Ionnides'a - только 16% не были подтверждены последующими исследованиями (опровергнуты, хотя это не верно, при низкой мощности, например 70%, второе исследование имеет 30% вероятность пропустить имеющийся эффект) [JAMA. 2005;294:218-228]. Чувствуете разницу? Кстати, точно подтверждены были 44% (т.е. 95% ну никак не получается, опять все ради красного словца...), 24% больше не тестировались (скорее всего потому, что сомнений в их правильности не появилось) и 16% были подтверждены, но эффект был меньшим, чем в оригинальной работе (что не удивляет, если помнить, что точечная оценка - выборочная).
О чем говорит - реально - работа Ionnides'а - скорее всего мощность исследований в медицине около 80% (именно тогда при повторении исследования у действующего метода вы получите около 20% работ с "негативным" результатом р>0.05), это вывод прямо противоположен авторскому - медицина на удивление хорошо проводит исследования!

4) Основная проблема всех этих заявлений в их оторванности от реальности. "Предположим, что априорная вероятность того, что новый метод не действует 98%". А какой находящийся в здравом уме исследователь будет проводить клинические испытания при такой вероятности? Не случайно клинические испытания (я уж не говорю о доклинической стадии!) проводятся в три этапа и на ранних этапах используются более низкие значения допустимой вероятности ошибки I типа. Однако тут таких исследователей нет. Почти все исследования аспирантов - постмаркетинговые, т.е. на методах, прошедших первоначальный отбор - и тут утверждать, что вероятность справедливости Но 98% это просто не понимать как работает современная (медицинская) наука.
5) заявление "что для получения надежных статистических значимостей на уровне 0,001 надо много работать это из той оперы, когда скупой платит дважды. И в нашем случае платит пациент (и деньгами и здоровьем). " не просто ошибочно. Оно демонстрирует нежелание задуматься над процессом планирования исследования ради отстаивания заранее сформулированной точки зрения.
Поясню на примере.
Итак. Предположим, что (для нас это не известно) был изобретен новый препарат для лечения лимфомы. Он снижает смертность за год на четверть (в сравнении с используемым методом лечения) - с 20% до 15%. При обычном планировании исследования (ошибка I 0.05, мощность 0,8) понадобится по 945 человек в группу вмешательства и контроля. Теперь предположим, что планирование доверили статистику, который верит только в 0,001. Он предложит включить в исследование по 2011 человек. 2011 человек будут в группе контроля вместо 945. К моменту окончания второго исследования в группе контроля умрет на 113 человек больше по сравнению с первым. Эти 113 жизней будут на совести "статистика". Результат будет получен позднее (сотни или тысячи других пациентов в мире не получат доступа к лекарству пока не закончилость исследование) - они тоже будут на совести "статистика".
Стоимость исследования будет в разы выше (больше пациентов, длительнее период исследования), а эта цена затем будет заложена в стоимость препарата. И опять пациенты не получат лечение.
Иными словами призывы к "снижению" р-оценки не так уж невинны и призывы "Наука не даётся малой кровью" должны начинаться с того, что тот, кто так призывает, организует исследование (в клинической медицине) в соответствие со своими призывами.

Поэтому общий вывод. Каждый остается при своем мнении. Пускай исследователи из СПбГУ используют только уровень 0,001 (правда, короткий поиск по фамилиям авторов выявил, что они почему-то тоже используют 95% ДИ - см., например Raj и соавт, 2008; Shaboltas и соавт., 2006), а все остальные будут продолжать использовать уровень значимости 0,05 и 95% доверительные интервалы.

Jonathan A C Sterne, George Davey Smith.
Sifting the evidence?what's wrong with significance tests?
BMJ 2001;322:226?31

"Unfortunately, P values are still commonly misunderstood".

"Table 3 shows that P < 0.05 cannot be regarded as providing conclusive, or even
strong, evidence against the null hypothesis".

Summary points
"A P value of 0.05 need not provide strong evidence against the null hypothesis, but it is
reasonable to say that P < 0.001 does".

Да, вот только почему-то обрезана цитата и удалено оттуда следующее "In the results sections of papers the precise P value should be presented, without reference to arbitrary thresholds". Авторы-то считают, что никакой порог (вообще) не должен приниматься априори. Но...
Чего не сделаешь, чтобы доказать свою точку зрения... Даже читать внимательно статью, которую цитируешь не будешь...
Из той же статьи "The practice of medical research will not be improved, however, if we simply substitute one arbitrary P value threshold (0.05) with another one (0.001)". Полностью совпадает с тем, что я говорил выше. Более того, если кто-то потрудится почитать эту статью дальше, то найдет совсем удивительную - с точки зрения любителя уровня 0,001 фразу:
"Confidence intervals for the main results should always be included, but 90% rather than 95% levels should be used. Confidence intervals should not be used as a surrogate means of examining significance at the conventional 5% level. Interpretation of confidence intervals should focus on the implications (clinical importance) of the range of values in the interval"
И так "тут читаем, тут не читаем?". Ну не надо, все же очевидно. Я уже высказал свою точку зрения. В следующий раз открывайте новую тему со спискам клинический исследований спланированных на уровне 0,001.
Эту тему я закрываю