Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

> Абсцисса пересечения двух гауссиан, для разных N
nokh
сообщение 17.02.2022 - 22:33
Сообщение #1





Группа: Пользователи
Сообщений: 1219
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Для каждого распределения известны параметры мю и сигма, а также объём выборки (в долях единицы).
Поиск по теме дал несколько аналогичных результатов.
Например, здесь дан вывод уравнения для нахождения абсциссы точки пересечения через решение квадратного уравнения:
https://stats.stackexchange.com/questions/3...asiest,2(x)%3D0.
А здесь те же формулы даны для matlab и подходят для R: https://stackoverflow.com/questions/5202142...n-distributions
Здесь на пайтоне: https://stackoverflow.com/questions/4136865...etween-gaussian

Я завёл всё это в Excel - работает (приложил). Но этот подход предполагает равенство объёмов выборок. На практике же они обычно разные и если использовать разделение смеси распределений, то тут эта формула не работает. Я приложил картинку, где реальные данные приближаются тремя распределениями. Пакет mixdist выдал:
Parameters:
pi mu sigma
1 0.09875 1.417 0.9399
2 0.84174 5.608 1.4961
3 0.05951 10.260 1.2689

Используя эти параметры я не могу найти абсциссы пересечения кривых. Например, подстановка мю и сигм в формулу выше даёт для двух первых распределений значение 3,1011, тогда как при имеющемся соотношении плотностей распределений визуально должно быть около 2,4. Ясно, что по мере уменьшения доли первой группы в выборке эта точка будет всё сильнее сдвигаться влево, пока не скатится по левой горке распределения второй группы к нулю (визуально).

Прошу помочь идеями или кодом, как найти искомое. На худой конец наверное можно как-то "выпотрошить" функцию plot, чтобы найти точку двух кривых с одинаковой ординатой и выбрать её абсциссу (хотя не хотелось бы привязываться к конкретному софту, т.к. пакет PAST выдаёт немного отличные параметры).

Сообщение отредактировал nokh - 18.02.2022 - 19:19
Эскизы прикрепленных изображений
Прикрепленное изображение
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
 
Открыть тему
Ответов
Диагностик
сообщение 24.02.2022 - 06:18
Сообщение #2





Группа: Пользователи
Сообщений: 147
Регистрация: 4.09.2012
Из: г.Дивногорск
Пользователь №: 24146



Цитата(Диагностик @ 21.02.2022 - 08:37) *
nokh,поработал со свинцом. Оказалось что концентрация у него распределена логнормально.
Принципиальная ошибка. Нельзя с исходной величиной совершать преобразования, приводящие к снижению неоднородности исходного распределения. Подобные логарифмированию и Б-К. При этой процедуре выбросы маскируются, а мы стремимся их наоборот, выявить. В связи с вышесказанным провел анализ чистых исходных данных для каждого элемента. Вот результаты:
Прикрепленное изображение

Прикрепленное изображение

Прикрепленное изображение

Прикрепленное изображение


Прикрепленное изображение

Прикрепленное изображение

Прикрепленное изображение

Прикрепленное изображение


...

Сообщение отредактировал Диагностик - 24.02.2022 - 07:15
Эскизы прикрепленных изображений

Прикрепленное изображение
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 25.02.2022 - 13:20
Сообщение #3





Группа: Пользователи
Сообщений: 1219
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Цитата(Диагностик @ 24.02.2022 - 08:18) *
Принципиальная ошибка. Нельзя с исходной величиной совершать преобразования, приводящие к снижению неоднородности исходного распределения. Подобные логарифмированию и Б-К. При этой процедуре выбросы маскируются, а мы стремимся их наоборот, выявить. В связи с вышесказанным провел анализ чистых исходных данных для каждого элемента. Вот результаты:

Благодарю за интерес к проблеме и труд. Разгребаю другие дела, поэтому пока посмотрел не вникая, но потом погляжу повнимательней. В принципе, то что я делаю - я уверен в работоспособности такого подхода. Но к критике нужно быть готовым - я планирую это публиковать (с добавлением биологических примеров). Поэтому буду признателен за ссылки, где такие мнения (нельзя ... и т.д.) прописано, чтобы вступить в виртуальную полемику))) В принципе никто не подвергает сомнению то, что полимодальность указывает на внутреннюю неоднородность данных. А вот то, как с этой неоднородностью работать и как на неё выходить - нет готовых рецептов и то, что делаете с данными вы является одним из возможных подходов, уже вашей наработкой.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Диагностик
сообщение 4.03.2022 - 04:28
Сообщение #4





Группа: Пользователи
Сообщений: 147
Регистрация: 4.09.2012
Из: г.Дивногорск
Пользователь №: 24146



Цитата(nokh @ 25.02.2022 - 18:20) *
как с этой неоднородностью работать

Работал с исходными данными замеров (непреобразованными). Отсекал подозрительные на выброс крайние элементы выборки. По ММП находил параметры исходного распределения (ограниченный нормальный закон). Проверял эту гипотезу. ПДК находил через предикционные интервалы по ГОСТ Р ИСО 16269-8-2005. Получил следущие значения:

никель - 94,5; выбросов 21 шт.
медь - 49,0; выбросов 21 шт.
цинк - 235,2; выбросов 5 шт.
свинец - 60,7; выбросов нет.

Сообщение отредактировал Диагностик - 4.03.2022 - 10:49
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 4.03.2022 - 19:18
Сообщение #5





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Диагностик @ 4.03.2022 - 04:28) *
Работал с исходными данными замеров (непреобразованными). Отсекал подозрительные на выброс крайние элементы выборки. По ММП находил параметры исходного распределения (ограниченный нормальный закон). Проверял эту гипотезу. ПДК находил через предикционные интервалы по ГОСТ Р ИСО 16269-8-2005. Получил следущие значения:

никель - 94,5; выбросов 21 шт.
медь - 49,0; выбросов 21 шт.
цинк - 235,2; выбросов 5 шт.
свинец - 60,7; выбросов нет.


Подведем некоторые промежуточные итоги.

Как известно, "для того, чтобы отвлечь пятерых афроамериканцев, насилующих белую женщину, необходимо бросить им баскетбольный мяч"(с).

Для того, чтобы прервать размещение юзером "Диагностик" зубодробительной чуши, необходимо произнести заклинание "Раз,два,три - горшочек, больше не вари".

Позвольте пояснить.

1. Во-первых, понятие "выброс" не существует само по себе вне привязки к соответствующему гипотетическому распределению.

Поэтому существуют методы для (априорно) нормального распределения, экспоненциального, Вейбулла - Гнеденко.

В качестве исключения могу вспомнить разве что критерий Дарлинга, детектирующий по одному выпадающему наблюдению (max или min) в случае, если про распределение известно лишь то, что оно непрерывно.

2. Если есть подозрение, что выбросов несколько, то их число должно быть заранее известно. Тогда можно воспользоваться критерием Титьена - Мура (Tietjen G., Moore H.,1972).

Если же число выбросов заранее неизвестно, и применяется некоторая последовательная процедура детектирования выбросов, то необходимо заранее знать ее статистические свойства: прежде всего, способность удерживать фактический уровень значимости вблизи заявленного номинального. Единственная известная мне процедура, удовлетворяющая данному требованию, - критерий Роснера (Rosner B., 1975, 1977).

Бесчисленное применение к одной и той же выборке одного и того же метода детектирования выпадающих наблюдений - грубая ошибка.

Поэтому, вместо того, чтобы с упорством, достойным лучшего применения, детектировать выпадающие наблюдения методами, для этого непригодными, проще принять одну из существующих моделей засорения выборки и определять выборочные статистики (параметры), устойчивые к засорению.

2. Здесь не может быть никакого разглагольствования о ПДК, поскольку

а) понятие ПДК неотделимо от событийного ряда, отвечающего на вопрос "Что будет, если..."
б) Существует дискретный параметр - "Класс загрязненности воды" (5 классов). Поскольку nokh упомянул, что есть загрязненные озера, надо учитывать эту информацию.
в) ГОСТ Р 59 054 - 2020 вводит дискретный параметр - "Классификация водных объектов по целям водопользования" (п. 4.2., табл. 2). И для озер хозяйственно-питьевого назначения ПДК будут иными, нежели для рыбопромысловых, etc.
г) необходимо учитывать антропогенную нагрузку на водоем (и много чего еще).

Поскольку неизвестно, что представляют собой эти 59 озер (сплошное наблюдение или выборочное обследование), попытки отделить мух от котлет "фоновое от нефонового" при такой постановке вопроса - несостоятельны. Особливо принимая во внимание, что представленные данные
- вообще-то многомерные, ergo надо проверять многомерную нормальность, применять многомерного Бокса-Кокса, детектировать многомерные выбросы и т.д.
- вообще-то пространственно-распределенные.

Сообщение отредактировал 100$ - 4.03.2022 - 19:34
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Сообщений в этой теме
- nokh   Абсцисса пересечения двух гауссиан   17.02.2022 - 22:33
- - Диагностик   Цитата(nokh @ 18.02.2022 - 03:33) по...   18.02.2022 - 01:35
|- - nokh   Цитата(Диагностик @ 18.02.2022 - 03...   18.02.2022 - 10:54
|- - Диагностик   Цитата(nokh @ 18.02.2022 - 15:54) Я ...   18.02.2022 - 12:39
- - Игорь   Цитата(nokh @ 17.02.2022 - 22:33) Дл...   18.02.2022 - 10:59
- - 100$   Цитата(nokh @ 17.02.2022 - 22:33) Ис...   18.02.2022 - 13:20
- - nokh   Спасибо всем огромное! Сегодня утром с подачи ...   18.02.2022 - 14:24
- - Диагностик   nokh, дайте данные по гистограмме, попробую вашу с...   18.02.2022 - 14:38
|- - nokh   Цитата(Диагностик @ 18.02.2022 - 16...   18.02.2022 - 18:39
|- - 100$   Цитата(nokh @ 18.02.2022 - 18:39) пр...   18.02.2022 - 18:45
|- - nokh   Цитата(100$ @ 18.02.2022 - 20:4...   18.02.2022 - 19:15
|- - 100$   Цитата(nokh @ 18.02.2022 - 19:15) Да...   18.02.2022 - 19:57
|- - Диагностик   Цитата(nokh @ 19.02.2022 - 00:15) Да...   19.02.2022 - 01:21
|- - Диагностик   Цитата(nokh @ 19.02.2022 - 00:15) Да...   19.02.2022 - 03:36
|- - 100$   Цитата(Диагностик @ 19.02.2022 - 03...   19.02.2022 - 13:01
- - Диагностик   И на это ушло 2 ч. 15 мин.? Это не важно. Важно т...   19.02.2022 - 14:28
|- - 100$   Цитата(Диагностик @ 19.02.2022 - 14...   19.02.2022 - 16:30
- - nokh   >Диагностик Конкретно здесь неоднородность не ...   19.02.2022 - 20:57
|- - Диагностик   Цитата(nokh @ 20.02.2022 - 01:57) Дл...   20.02.2022 - 01:32
- - nokh   > 100$ Японская диаграмма прикольная. Я л...   19.02.2022 - 21:21
|- - 100$   Цитата(nokh @ 19.02.2022 - 21:21) По...   19.02.2022 - 23:49
|- - nokh   Цитата(100$ @ 20.02.2022 - 01:4...   20.02.2022 - 08:08
- - Диагностик   nokh, нужно найти аномальные значения концентрации...   20.02.2022 - 09:27
|- - nokh   Цитата(Диагностик @ 20.02.2022 - 11...   20.02.2022 - 11:59
- - Диагностик   nokh, аномальные значения левого "хвоста...   20.02.2022 - 12:07
- - Диагностик   nokh,поработал со свинцом. Оказалось что концентра...   21.02.2022 - 03:37
- - Диагностик   Цитата(Диагностик @ 21.02.2022 - 08...   24.02.2022 - 06:18
|- - Диагностик   Цитата(Диагностик @ 24.02.2022 - 11...   25.02.2022 - 06:46
|- - nokh   Цитата(Диагностик @ 24.02.2022 - 08...   25.02.2022 - 13:20
|- - Диагностик   Цитата(nokh @ 25.02.2022 - 18:20) ка...   4.03.2022 - 04:28
|- - 100$   Цитата(Диагностик @ 4.03.2022 - 04:2...   4.03.2022 - 19:18
- - Диагностик   Я не детектировал последовательно каждый выброс, а...   5.03.2022 - 02:32
- - Олег Кравец   Moderator on Коллеги, уважайте себя и собеседнико...   13.03.2022 - 08:00


Добавить ответ в эту темуОткрыть тему