Доверительный интервал долей Опции

[плав]

Поскольку в другой теме было много споров о разных ДИ для долей и огрномный список цитат, решил - для иллюстрации - провести вычислительный эксперимент.
Итак. Были смоделированы популяции в которой содержится х объектов одного класса и 1-х объектов другого класса (х менялась от 1 до 10%). Из этой популяции брались случайные выборки размером 40 объектов. Оценивалось количество объектов одного и другого класса в выборке и рассчитывались доверительные интервалы по Клопперу-Пирсону, Агрести-Коулу и по распределению Пуассона (значения менее 0 заменялись на нулевые).
Таких выборок бралось 10 000 и затем рассчитывался вероятность покрытия популяционного значения доверительным интервалом и средняя ширина доверительного интервала. Что в результате (это небольшой размер выборки и малая вероятнсть:
Ширина 95%ДИ Покрытие
pi__ КП__ АК__ Пу__ КП__ АК__ Пу__
1% 0,104 0,118 0,110 0,993 0,993 0,993
2% 0,119 0,130 0,126 0,992 0,951 0,992
3% 0,132 0,141 0,141 0,994 0,970 0,994
4% 0,146 0,152 0,156 0,979 0,979 0,979
5% 0,157 0,162 0,169 0,986 0,952 0,986
6% 0,168 0,170 0,181 0,991 0,970 0,991
7% 0,177 0,178 0,192 0,981 0,981 0,981
8% 0,186 0,185 0,203 0,988 0,965 0,988
9% 0,195 0,192 0,214 0,953 0,974 0,970
10% 0,203 0,198 0,223 0,972 0,962 0,972
При малых значениях популяционной вероятности (менее 8%) интервал Клоппера-Пирсона является более узким, при больших - боле узкий интервал Агрести-Коула.
Покрытие прыгает, почти всюду больше номинального уровня 95%, однако среднее покрытие для КП - 98,3%, для Агрести - 97,0% и для Пуассона - 98,5%. Агрести-Коула немного ближе к номинальному уровню.
Однако если смотреть на данные реально, принципиальных различий между этими тремя методами нет. В большинстве случаев они дают одинаковые результаты и, как и показано в других работах, КП немного более консервативен, а АК немного более широкий при малых значениях популяционной вероятности.

[плав]

Теперь сделал при большем размере выборки - 150 объектов
Результат
1% 0,040 0,044 0,041 0,982 0,982 0,982
2% 0,052 0,054 0,053 0,989 0,968 0,989
3% 0,061 0,062 0,063 0,978 0,964 0,978
4% 0,069 0,069 0,071 0,968 0,963 0,968
5% 0,076 0,075 0,079 0,965 0,960 0,965
6% 0,082 0,080 0,086 0,965 0,948 0,965
7% 0,087 0,085 0,092 0,966 0,951 0,966
8% 0,093 0,090 0,098 0,969 0,954 0,969
9% 0,097 0,094 0,103 0,972 0,961 0,972
10% 0,102 0,098 0,108 0,971 0,960 0,971
Опять же при малых значениях популяционной вероятности интервал Клоппера-Пирсона уже, при больших (более 5%) - уже интервал Агрести-Коула. Среднее покрытие для Клоппера-Пирсона 97,2%, для Агрести - 96,1% и для пуассоновской аппроксимации - 97,2%. Опять интервал Агрести-Коула ближе к номианльному уровню, хотя его и не достигает.
В целом это означает, что при небольших значениях популяционной вероятности интервал покрытия соответствующий 95% для метода Клоппера-Пирсона получается при использовании 92% интервала.
Опять же серьезных различий между методами нет, но не один из них не является идеальным и даже нельзя выбрать однозначно предпочительный (ибо по выборке мы не знаем популяционную вероятность).
Для сравнения я сделал 10 000 выборок из нормальной популяции и оценил доверительный интервал по известной формуле M+/-t*m. Для 95% интервала вероятность накрытия при размере выборки 40 объектов 0,9536, для 150 объектов - 0,9476 - т.е. теоретические 95%. Более того, если выборка из прямоугольного распределения (явно не нормального), то интервал накрытия 0,9501 для размера выборки 40 и 0,9473 для размера выборки 150. Иными словами, опять интервал равен номинальному.
Если популяция с "тяжелыми хвостами" (смесь двух популяций с разными стандартными отклонениями), то для 40 объектов интервал покрытия 0,9511, для 150 - 0,9525. Все равно близко к номинальному уровню.
Собственно это и подтверждает идею о том, что разные методы близки для количественных переменных, а для качественных всегда остаются проблемы.