Здравствуйте, гость ( Вход | Регистрация )
17.02.2022 - 22:33
Сообщение
#1
|
|
|
Группа: Пользователи Сообщений: 1219 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Для каждого распределения известны параметры мю и сигма, а также объём выборки (в долях единицы).
Поиск по теме дал несколько аналогичных результатов. Например, здесь дан вывод уравнения для нахождения абсциссы точки пересечения через решение квадратного уравнения: https://stats.stackexchange.com/questions/3...asiest,2(x)%3D0. А здесь те же формулы даны для matlab и подходят для R: https://stackoverflow.com/questions/5202142...n-distributions Здесь на пайтоне: https://stackoverflow.com/questions/4136865...etween-gaussian Я завёл всё это в Excel - работает (приложил). Но этот подход предполагает равенство объёмов выборок. На практике же они обычно разные и если использовать разделение смеси распределений, то тут эта формула не работает. Я приложил картинку, где реальные данные приближаются тремя распределениями. Пакет mixdist выдал: Parameters: pi mu sigma 1 0.09875 1.417 0.9399 2 0.84174 5.608 1.4961 3 0.05951 10.260 1.2689 Используя эти параметры я не могу найти абсциссы пересечения кривых. Например, подстановка мю и сигм в формулу выше даёт для двух первых распределений значение 3,1011, тогда как при имеющемся соотношении плотностей распределений визуально должно быть около 2,4. Ясно, что по мере уменьшения доли первой группы в выборке эта точка будет всё сильнее сдвигаться влево, пока не скатится по левой горке распределения второй группы к нулю (визуально). Прошу помочь идеями или кодом, как найти искомое. На худой конец наверное можно как-то "выпотрошить" функцию plot, чтобы найти точку двух кривых с одинаковой ординатой и выбрать её абсциссу (хотя не хотелось бы привязываться к конкретному софту, т.к. пакет PAST выдаёт немного отличные параметры). Сообщение отредактировал nokh - 18.02.2022 - 19:19 |
|
|
![]() |
![]() |
![]() |
24.02.2022 - 06:18
Сообщение
#2
|
|||||||||
![]() Группа: Пользователи Сообщений: 147 Регистрация: 4.09.2012 Из: г.Дивногорск Пользователь №: 24146 |
nokh,поработал со свинцом. Оказалось что концентрация у него распределена логнормально. Принципиальная ошибка. Нельзя с исходной величиной совершать преобразования, приводящие к снижению неоднородности исходного распределения. Подобные логарифмированию и Б-К. При этой процедуре выбросы маскируются, а мы стремимся их наоборот, выявить. В связи с вышесказанным провел анализ чистых исходных данных для каждого элемента. Вот результаты:... Сообщение отредактировал Диагностик - 24.02.2022 - 07:15 |
||||||||
|
|
![]() |
![]() |
25.02.2022 - 13:20
Сообщение
#3
|
|
|
Группа: Пользователи Сообщений: 1219 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Принципиальная ошибка. Нельзя с исходной величиной совершать преобразования, приводящие к снижению неоднородности исходного распределения. Подобные логарифмированию и Б-К. При этой процедуре выбросы маскируются, а мы стремимся их наоборот, выявить. В связи с вышесказанным провел анализ чистых исходных данных для каждого элемента. Вот результаты: Благодарю за интерес к проблеме и труд. Разгребаю другие дела, поэтому пока посмотрел не вникая, но потом погляжу повнимательней. В принципе, то что я делаю - я уверен в работоспособности такого подхода. Но к критике нужно быть готовым - я планирую это публиковать (с добавлением биологических примеров). Поэтому буду признателен за ссылки, где такие мнения (нельзя ... и т.д.) прописано, чтобы вступить в виртуальную полемику))) В принципе никто не подвергает сомнению то, что полимодальность указывает на внутреннюю неоднородность данных. А вот то, как с этой неоднородностью работать и как на неё выходить - нет готовых рецептов и то, что делаете с данными вы является одним из возможных подходов, уже вашей наработкой. |
|
|
![]() |
![]() |
4.03.2022 - 04:28
Сообщение
#4
|
|
![]() Группа: Пользователи Сообщений: 147 Регистрация: 4.09.2012 Из: г.Дивногорск Пользователь №: 24146 |
как с этой неоднородностью работать Работал с исходными данными замеров (непреобразованными). Отсекал подозрительные на выброс крайние элементы выборки. По ММП находил параметры исходного распределения (ограниченный нормальный закон). Проверял эту гипотезу. ПДК находил через предикционные интервалы по ГОСТ Р ИСО 16269-8-2005. Получил следущие значения: никель - 94,5; выбросов 21 шт. медь - 49,0; выбросов 21 шт. цинк - 235,2; выбросов 5 шт. свинец - 60,7; выбросов нет. Сообщение отредактировал Диагностик - 4.03.2022 - 10:49 |
|
|
![]() |
![]() |
4.03.2022 - 19:18
Сообщение
#5
|
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
Работал с исходными данными замеров (непреобразованными). Отсекал подозрительные на выброс крайние элементы выборки. По ММП находил параметры исходного распределения (ограниченный нормальный закон). Проверял эту гипотезу. ПДК находил через предикционные интервалы по ГОСТ Р ИСО 16269-8-2005. Получил следущие значения: никель - 94,5; выбросов 21 шт. медь - 49,0; выбросов 21 шт. цинк - 235,2; выбросов 5 шт. свинец - 60,7; выбросов нет. Подведем некоторые промежуточные итоги. Как известно, "для того, чтобы отвлечь пятерых афроамериканцев, насилующих белую женщину, необходимо бросить им баскетбольный мяч"(с). Для того, чтобы прервать размещение юзером "Диагностик" зубодробительной чуши, необходимо произнести заклинание "Раз,два,три - горшочек, больше не вари". Позвольте пояснить. 1. Во-первых, понятие "выброс" не существует само по себе вне привязки к соответствующему гипотетическому распределению. Поэтому существуют методы для (априорно) нормального распределения, экспоненциального, Вейбулла - Гнеденко. В качестве исключения могу вспомнить разве что критерий Дарлинга, детектирующий по одному выпадающему наблюдению (max или min) в случае, если про распределение известно лишь то, что оно непрерывно. 2. Если есть подозрение, что выбросов несколько, то их число должно быть заранее известно. Тогда можно воспользоваться критерием Титьена - Мура (Tietjen G., Moore H.,1972). Если же число выбросов заранее неизвестно, и применяется некоторая последовательная процедура детектирования выбросов, то необходимо заранее знать ее статистические свойства: прежде всего, способность удерживать фактический уровень значимости вблизи заявленного номинального. Единственная известная мне процедура, удовлетворяющая данному требованию, - критерий Роснера (Rosner B., 1975, 1977). Бесчисленное применение к одной и той же выборке одного и того же метода детектирования выпадающих наблюдений - грубая ошибка. Поэтому, вместо того, чтобы с упорством, достойным лучшего применения, детектировать выпадающие наблюдения методами, для этого непригодными, проще принять одну из существующих моделей засорения выборки и определять выборочные статистики (параметры), устойчивые к засорению. 2. Здесь не может быть никакого разглагольствования о ПДК, поскольку а) понятие ПДК неотделимо от событийного ряда, отвечающего на вопрос "Что будет, если..." б) Существует дискретный параметр - "Класс загрязненности воды" (5 классов). Поскольку nokh упомянул, что есть загрязненные озера, надо учитывать эту информацию. в) ГОСТ Р 59 054 - 2020 вводит дискретный параметр - "Классификация водных объектов по целям водопользования" (п. 4.2., табл. 2). И для озер хозяйственно-питьевого назначения ПДК будут иными, нежели для рыбопромысловых, etc. г) необходимо учитывать антропогенную нагрузку на водоем (и много чего еще). Поскольку неизвестно, что представляют собой эти 59 озер (сплошное наблюдение или выборочное обследование), попытки отделить - вообще-то многомерные, ergo надо проверять многомерную нормальность, применять многомерного Бокса-Кокса, детектировать многомерные выбросы и т.д. - вообще-то пространственно-распределенные. Сообщение отредактировал 100$ - 4.03.2022 - 19:34 |
|
|
![]() |
![]() |
nokh Абсцисса пересечения двух гауссиан 17.02.2022 - 22:33
Диагностик Цитата(nokh @ 18.02.2022 - 03:33) по... 18.02.2022 - 01:35
nokh Цитата(Диагностик @ 18.02.2022 - 03... 18.02.2022 - 10:54
Диагностик Цитата(nokh @ 18.02.2022 - 15:54) Я ... 18.02.2022 - 12:39
Игорь Цитата(nokh @ 17.02.2022 - 22:33) Дл... 18.02.2022 - 10:59
100$ Цитата(nokh @ 17.02.2022 - 22:33) Ис... 18.02.2022 - 13:20
nokh Спасибо всем огромное! Сегодня утром с подачи ... 18.02.2022 - 14:24
Диагностик nokh, дайте данные по гистограмме, попробую вашу с... 18.02.2022 - 14:38
nokh Цитата(Диагностик @ 18.02.2022 - 16... 18.02.2022 - 18:39
100$ Цитата(nokh @ 18.02.2022 - 18:39) пр... 18.02.2022 - 18:45
nokh Цитата(100$ @ 18.02.2022 - 20:4... 18.02.2022 - 19:15
100$ Цитата(nokh @ 18.02.2022 - 19:15) Да... 18.02.2022 - 19:57
Диагностик Цитата(nokh @ 19.02.2022 - 00:15) Да... 19.02.2022 - 01:21
Диагностик Цитата(nokh @ 19.02.2022 - 00:15) Да... 19.02.2022 - 03:36
100$ Цитата(Диагностик @ 19.02.2022 - 03... 19.02.2022 - 13:01
Диагностик И на это ушло 2 ч. 15 мин.?
Это не важно. Важно т... 19.02.2022 - 14:28
100$ Цитата(Диагностик @ 19.02.2022 - 14... 19.02.2022 - 16:30
nokh >Диагностик
Конкретно здесь неоднородность не ... 19.02.2022 - 20:57
Диагностик Цитата(nokh @ 20.02.2022 - 01:57) Дл... 20.02.2022 - 01:32
nokh > 100$
Японская диаграмма прикольная. Я л... 19.02.2022 - 21:21
100$ Цитата(nokh @ 19.02.2022 - 21:21) По... 19.02.2022 - 23:49
nokh Цитата(100$ @ 20.02.2022 - 01:4... 20.02.2022 - 08:08
Диагностик nokh, нужно найти аномальные значения концентрации... 20.02.2022 - 09:27
nokh Цитата(Диагностик @ 20.02.2022 - 11... 20.02.2022 - 11:59
Диагностик nokh, аномальные значения левого "хвоста... 20.02.2022 - 12:07
Диагностик nokh,поработал со свинцом. Оказалось что концентра... 21.02.2022 - 03:37
Диагностик Цитата(Диагностик @ 24.02.2022 - 11... 25.02.2022 - 06:46
Диагностик Я не детектировал последовательно каждый выброс, а... 5.03.2022 - 02:32
Олег Кравец Moderator on
Коллеги, уважайте себя и собеседнико... 13.03.2022 - 08:00![]() ![]() |