Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Робастное оценивание
nokh
сообщение 7.03.2016 - 16:20
Сообщение #1





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Возникла необходимость грамотного выбора методов анализа в малоизвестной мне области - контроля качества. Пусть в медицинском форуме речь идёт о контроле качества производства лекарственных средств и качестве лабораторных исследований. Когда раньше приходилось строить диаграммы Шухарта, то там всё было преимущественно в рамках нормального распределения и метода наименьших квадратов (МНК). Сейчас понадобилась робастность. Если в биостатистике робастность - это в первую очередь борьба с отклонением от нормальности, то складывается впечатление, что в промышленной статистике и контроле качества робастность - это в первую очередь борьба с выбросами. Хотя, как мне кажется, именно в биостатистике выбросы более естественны, чем в контролируемом производственном процессе... С ними, конечно, борются, но не ставят эту борьбу во главу всего. Иначе любой анализ у нас начинался бы с жёсткой выбраковки наблюдений на основе какого-нибудь M-эстиматора, усечённых наименьших квадратов и прочей экзотики. Но, похоже, в производстве типа того и есть... ну по крайней мере - на каких-то производствах. Вопросов у меня не менее двух smile.gif

1) Можно ли отнести современные ресэмплинг-техники (бутстреп и рандомизация) к робастным методам? Если да, то где это прописано? (я пока в книгах с "робастностью" нашёл только всякие аналитические альтернативы МНК)
2) Существуют ли какие-то документы (ISO, Правила, Рекомендации и т.п.), регламентирующие применение и выбор статистики. МНК или каких-то альтернатив ему: порядковой статистики, усечённых НК, и пр. (про общие документы типа ГОСТ Р ИСО/ТО 10017-2005, Правила GMP, Приказ Министерства промышленности и торговли РФ от 14.07.2013 г. N 916 мне известно).

Хочется обсчитать грамотно и современно, я бы хотел ресэмплингом. Но если кому-то не понравится, то чтобы было на что опереться и чем крыть.
Прошу поделиться информацией и бесценным опытом.

Сообщение отредактировал nokh - 7.03.2016 - 16:46
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
ogurtsov
сообщение 7.03.2016 - 16:28
Сообщение #2





Группа: Пользователи
Сообщений: 127
Регистрация: 15.12.2015
Пользователь №: 27760



А что оценивать будем?
Если говорить про ГОСТы и ISO, то посмотрите ISO 2859 (http://vsegost.com/Catalog/51/518.shtml). Там все по готовым таблицам нужно оценивать.

Сообщение отредактировал ogurtsov - 7.03.2016 - 16:34


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 7.03.2016 - 17:07
Сообщение #3





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(ogurtsov @ 7.03.2016 - 16:28) *
А что оценивать будем?
Если говорить про ГОСТы и ISO, то посмотрите ISO 2859 (http://vsegost.com/Catalog/51/518.shtml). Там все по готовым таблицам нужно оценивать.


Это не контроль производства smile.gif


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 7.03.2016 - 17:28
Сообщение #4





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(nokh @ 7.03.2016 - 16:20) *
Возникла необходимость грамотного выбора методов анализа в малоизвестной мне области - контроля качества. Пусть в медицинском форуме речь идёт о контроле качества производства лекарственных средств и качестве лабораторных исследований. Когда раньше приходилось строить диаграммы Шухарта, то там всё было преимущественно в рамках нормального распределения и метода наименьших квадратов (МНК). Сейчас понадобилась робастность. Если в биостатистике робастность - это в первую очередь борьба с отклонением от нормальности, то складывается впечатление, что в промышленной статистике и контроле качества робастность - это в первую очередь борьба с выбросами. Хотя, как мне кажется, именно в биостатистике выбросы более естественны, чем в контролируемом производственном процессе... С ними, конечно, борются, но не ставят эту борьбу во главу всего. Иначе любой анализ у нас начинался бы с жёсткой выбраковки наблюдений на основе какого-нибудь M-эстиматора, усечённых наименьших квадратов и прочей экзотики. Но, похоже, в производстве типа того и есть... ну по крайней мере - на каких-то производствах. Вопросов у меня не менее двух smile.gif

1) Можно ли отнести современные ресэмплинг-техники (бутстреп и рандомизация) к робастным методам? Если да, то где это прописано? (я пока в книгах с "робастностью" нашёл только всякие аналитические альтернативы МНК)
2) Существуют ли какие-то документы (ISO, Правила, Рекомендации и т.п.), регламентирующие применение и выбор статистики. МНК или каких-то альтернатив ему: порядковой статистики, усечённых НК, и пр. (про общие документы типа ГОСТ Р ИСО/ТО 10017-2005, Правила GMP, Приказ Министерства промышленности и торговли РФ от 14.07.2013 г. N 916 мне известно).

Хочется обсчитать грамотно и современно, я бы хотел ресэмплингом. Но если кому-то не понравится, то чтобы было на что опереться и чем крыть.
Прошу поделиться информацией и бесценным опытом.


Тут лучший модуль "признанный общественностью" у статсофта. Но практически в нем происходит после признания выброса за выброс "пересчет сигмы", и вновь если есть выброс исключение его + пересчет. Реальное распределение там сводиться к нормальному преобразованием и квантили раскладываются вполне адекватно по реальной шкале.

В принципе если для сигмы будет оценен доверительный интервал, то это позволит рисовать доверительный интервал и для границ качества в сравнении их с разбросом процесса. Наверное поможет выбирать окно в котором идет расчет сигмы более обосновано. (Наверное можно брать моду бутстрепированного распределения сигмы и как то автоматизировать исключение выпадающих значений)

Более всего контроль качества по моему похож на миксед эффект в модели. Стоит вопрос о его уменьшении до 6х сигм помещающихся от целевого показателя до границ качества. Ну и документирование процедуры производства для демонстрации заказчику.

Можно в принципе все аналитические интервальные оценки отсюда http://vsegost.com/Catalog/53/53899.shtml подтвердить бутстрепом.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
ogurtsov
сообщение 7.03.2016 - 17:28
Сообщение #5





Группа: Пользователи
Сообщений: 127
Регистрация: 15.12.2015
Пользователь №: 27760



Цитата(p2004r @ 7.03.2016 - 17:07) *
Это не контроль производства smile.gif

Вопрос был про контроль качества, а не процессов производства.
Может, я не очень удачную ссылку выбрал. Украинские варианты выглядят следующим образом (http://www.ukrndnc.org.ua/index.php?option=com_ushop&Itemid=69&grp=70&pgrp=89&lstdssu=93):
Код
ДСТУ ISO 2859-1-2001
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 1. Плани виб?ркового контролю, визначен? приймальним р?внем якост? для посл?довного контролю парт?й
ДСТУ ISO 2859-2-2001
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 2. Плани виб?ркового контролю, визначен? граничною як?стю для перев?рки ?зольованих парт?й
ДСТУ ISO 2859-3-2001
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 3. Виб?рков? процедури з пропусками
ДСТУ ISO 2859-4:2004
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 4. Методи оц?нювання заявлених р?вн?в якост?
ДСТУ ISO 2859-5:2009
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 5. Система план?в посл?довного в?дбирання, ?ндексованих межами прийняття якост? (МПЯ) для посл?довного виб?ркового перев?рення парт?й
ДСТУ ISO 2859-10:2009
Статистичний контроль. Контроль за альтернативною ознакою виб?рковий. Частина 10. Вступ до сер?? стандарт?в ISO 2859 щодо в?дбирання проб за альтернативною ознакою

Остается только найти тексты исходных документов ISO или соответствующих ГОСТов.

Сообщение отредактировал ogurtsov - 7.03.2016 - 17:33


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 7.03.2016 - 17:42
Сообщение #6





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(ogurtsov @ 7.03.2016 - 17:28) *
Вопрос был про контроль качества, а не процессов производства.
Может, я не очень удачную ссылку выбрал. Украинские варианты выглядят следующим образом (http://www.ukrndnc.org.ua/index.php?option=com_ushop&Itemid=69&grp=70&pgrp=89&lstdssu=93):
Код
ДСТУ ISO 2859-1-2001
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 1. Плани виб?ркового контролю, визначен? приймальним р?внем якост? для посл?довного контролю парт?й
ДСТУ ISO 2859-2-2001
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 2. Плани виб?ркового контролю, визначен? граничною як?стю для перев?рки ?зольованих парт?й
ДСТУ ISO 2859-3-2001
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 3. Виб?рков? процедури з пропусками
ДСТУ ISO 2859-4:2004
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 4. Методи оц?нювання заявлених р?вн?в якост?
ДСТУ ISO 2859-5:2009
Статистичний контроль. Виб?рковий контроль за альтернативною ознакою. Частина 5. Система план?в посл?довного в?дбирання, ?ндексованих межами прийняття якост? (МПЯ) для посл?довного виб?ркового перев?рення парт?й
ДСТУ ISO 2859-10:2009
Статистичний контроль. Контроль за альтернативною ознакою виб?рковий. Частина 10. Вступ до сер?? стандарт?в ISO 2859 щодо в?дбирання проб за альтернативною ознакою

Остается только найти тексты исходных документов ISO или соответствующих ГОСТов.



Сказано четко -- " Пусть в медицинском форуме речь идёт о контроле качества производства лекарственных средств"(С). Более того сам термин "контроль качества" в настоящее время как раз и относиться к контролю производственных процессов, а не приемке продукции.

Теперь по основному вопросу:


http://users.stat.umn.edu/~chatt019/research/AOAS09349.pdf

http://www.stat.unipg.it/~bart/valencia260704.pdf

http://www.ijesi.org/papers/Vol%202%284%29...n-4/F242833.pdf

http://www.stat.fi/isi99/proceedings/arkis...to/suzu0590.pdf

http://asq.org/qic/display-item/?item=11556

http://www.tandfonline.com/doi/abs/10.1080...rnalCode=lqen20

Много их smile.gif


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
ogurtsov
сообщение 7.03.2016 - 17:54
Сообщение #7





Группа: Пользователи
Сообщений: 127
Регистрация: 15.12.2015
Пользователь №: 27760



Цитата(p2004r @ 7.03.2016 - 17:42) *
Сказано четко -- " Пусть в медицинском форуме речь идёт о контроле качества производства лекарственных средств"(С). Более того сам термин "контроль качества" в настоящее время как раз и относиться к контролю производственных процессов, а не приемке продукции.


Термин "контроль качества" относится к тому, по каким ISO и прочим GMP сертифицировано предприятие и соответствие каким ISO оно декларирует.
Контроль производственных процессов не заменяет контроля готовой продукции (а также контроля качества сырья, контроля полуфабрикатов и, например, контроля продукции на момент окончания срока годности).
Все это проверяется в ходе аудитов и инспекций контролирующих органов, и на этот случай нужно соответствовать критериям именно официальных документов. Но с точки зрения получения объективной информации "для себя" - не спорю, методы из перечисленных публикаций могут быть полезны.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 7.03.2016 - 18:47
Сообщение #8





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(ogurtsov @ 7.03.2016 - 17:54) *
Термин "контроль качества" относится к тому, по каким ISO и прочим GMP сертифицировано предприятие и соответствие каким ISO оно декларирует.
Контроль производственных процессов не заменяет контроля готовой продукции (а также контроля качества сырья, контроля полуфабрикатов и, например, контроля продукции на момент окончания срока годности).
Все это проверяется в ходе аудитов и инспекций контролирующих органов, и на этот случай нужно соответствовать критериям именно официальных документов. Но с точки зрения получения объективной информации "для себя" - не спорю, методы из перечисленных публикаций могут быть полезны.


"Контроль качества" сейчас это не отбор качественной продукции путем отбраковки, а доказательство стабильности (причем на уровне гарантирующей заказанные параметры продукции) производственных процессов заказчику. Это собственно и записано во всех упомянутых вами документах как определение.

Вот конкретно "по ISO" https://books.google.by/books?id=nG7_CgAAQBAJ Файлы легко ищутся и качаются (велики что бы сюда загружать).


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
ogurtsov
сообщение 7.03.2016 - 21:03
Сообщение #9





Группа: Пользователи
Сообщений: 127
Регистрация: 15.12.2015
Пользователь №: 27760



Цитата(p2004r @ 7.03.2016 - 18:47) *
"Контроль качества" сейчас это не отбор качественной продукции путем отбраковки, а доказательство стабильности (причем на уровне гарантирующей заказанные параметры продукции) производственных процессов заказчику. Это собственно и записано во всех упомянутых вами документах как определение.

Вот конкретно "по ISO" https://books.google.by/books?id=nG7_CgAAQBAJ Файлы легко ищутся и качаются (велики что бы сюда загружать).


Книжка оч. годная, спасибо. Лучше ее почитаю, чем дальше спорить smile.gif


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 7.03.2016 - 22:46
Сообщение #10





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Огромное спасибо! Оказывается я даже про ГОСТы "Статистические методы. Управление процессами" не знал. И ещё про кучу других: http://nrmsoft.ru/Doclist/folder/31203000.html
Пока хватит читать, а там может ещё вопросы появятся. В благодарность - временная ссылка на отличный учебник (к сожалению учебники такого качества на русский не переводятся). https://yadi.sk/i/H0CisS9spyKGQ

Сообщение отредактировал nokh - 7.03.2016 - 23:37
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DoctorStat
сообщение 8.03.2016 - 10:40
Сообщение #11





Группа: Пользователи
Сообщений: 377
Регистрация: 18.08.2008
Из: Москва Златоглавая
Пользователь №: 5224



Цитата(nokh @ 7.03.2016 - 22:46) *
В благодарность - временная ссылка на учебники

Хьюбер "Робастность в статистике" скачать. Нажать правую кнопку мыши и выбрать пункт меню: "Сохранить как..."

Сообщение отредактировал DoctorStat - 8.03.2016 - 10:42


Signature
Просто включи мозги => http://doctorstat.narod.ru
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 16.03.2016 - 20:05
Сообщение #12





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Цитата(DoctorStat @ 8.03.2016 - 12:40) *
Хьюбер "Робастность в статистике" скачать. Нажать правую кнопку мыши и выбрать пункт меню: "Сохранить как..."

Благодарю, но книга сложная - голая теория.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему