Оценка распределения гистограммы Опции

[Tochka]

Имеется гистограмма распределения яркостей медицинского снимка. Например, такая http://yogi.mpe.lv/mobile/histo_1_1.JPG

Как можно определить вид распределения?

По оси Х - яркость 0-255 (шаг 1), по оси Y - количество пикселей. Известно число пикселей в каждой точке.

Эскизы прикрепленных изображений

 

[nokh]

Как определить вид распределения сказать сложно. Но можно сначала сделать предположение о типе распределения, а затем его проверить. Помочь сделать предположение дожны: информация о сути процессов, влияющих на признак и гистограмма распределения. В вашем случае распределение выглядит унимодальным, симметричным и колоколообразным. Поэтому можно предположить нормальное распределение, а в качестве возможного отклонения от него - положительный эксцесс. Для проверки на нормальность симметричных и приблизительно нормальных распределений одним из лучших (наиболее мощных) критериев является критерий Дэвида-Хартли-Пирсона, но я не знаю в каких пакетах он есть. Алгоритм расчета есть в "Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. - М.: ФИЗМАТЛИТ, 2006. - 816 с." Очень широко распространены менее мощные в случае симметричных распределений критериии Шапиро-Уилка и Колмогорова-Смирнова с подходом Лиллиефорса. Много критериев проверки на нормальность есть в программе AtteStat. Т.е. если гистограмма оцифрована можно вносить данные в любой стат. пакет и считать.

[DoctorStat]

Как можно определить вид распределения?

Допустим, Вы приходите в обувной магазин и спрашиваете у продавца: «Подберите, пожалуйста, мне ботинки». Как Вы думаете, что он(а) Вам ответит? Правильно: «А на какой сезон подобрать? Для разного времени года необходима разная обувь». Так и здесь, сначала нужно определиться - а какое распределение Вам нужно?

Сообщение отредактировал DoctorStat - 19.11.2008 - 10:58

[Tochka]

Спасибо!

Допустим, Вы приходите в обувной магазин и спрашиваете у продавца: ?Подберите, пожалуйста, мне ботинки?. Как Вы думаете, что он(а) Вам ответит? Правильно: ?А на какой сезон подобрать? Для разного времени года необходима разная обувь?. Так и здесь, сначала нужно определиться - а какое распределение Вам нужно?

в данном случае, нормальное, просто гистограмм много, надеялась, что есть универсальный способ определения типа распределения.

Спасибо, что ответили. В темном лесу (статистике), мне трудно ориентироваться (пока).

[DrgLena]

Любопытно, а что это за гистограммы и для чего они. Один снимок в разных местах с определенным шагом, или измерение в пикселях одного и то же места снимка в группе больных.

[Игорь]

Для проверки на нормальность симметричных и приблизительно нормальных распределений одним из лучших (наиболее мощных) критериев является критерий Дэвида-Хартли-Пирсона,

А вот авторы http://www.ami.nstu.ru/~headrd/seminar/pub...008_Rog_Lem.pdf так не считают. Более того, некоторые авторы вообще не считают его критерием нормальности. http://hdl.handle.net/1813/9130. В самом деле, статистика критерия Дэвида-Хартли-Пирсона представляет собой сумму статистик Смирнова-Граббса при проверке на выброс максимального и минимального значений выборки. Т.о. критерий вообще не анализирует функцию распределения (ни в какой метрике) и сравнивать его, скажем, с критерием типа Колмогорова, критерием Койпера, критерием Эппса-Палли или даже хи-квадрат критерием не имеет смысла.

но я не знаю в каких пакетах он есть.

FlexPro http://www.adeptscience.co.uk/products/dat...tive_stats.html

Очень широко распространены менее мощные в случае симметричных распределений критериии Шапиро-Уилка и Колмогорова-Смирнова с подходом Лиллиефорса.

1. Критерия Колмогорова-Смирнова нет и никогда не было. Есть критерий Колмогорова и критерий Смирнова.
2. Нет критерия Колмогорова с подходом Лиллиефорса. Есть критерий типа Колмогорова (иначе - модифицированный критерий Колмогорова - "модификация" заключается не в усовершенствовании статистики критерия - она та же самая - а в функции ее распределения в случае сложной гипотезы - для каждого типа проверяемого распределения в каждом типе сложной гипотезы оно свое). Причем критерий Лиллиефорса из них - не самый лучший, как и критерий Стефенса, распространенные за рубежом и потому насаждаемые зарубежными пакетами программ. См. http://www.ami.nstu.ru/~headrd/seminar/non...tric/start2.htm. В источнике проделана большая работа по качественной аппроксимации упомянутых выше функций распределения стандартными распределениями.

Сообщение отредактировал Игорь - 21.11.2008 - 18:47

[плав]

Имеется гистограмма распределения яркостей медицинского снимка. Например, такая http://yogi.mpe.lv/mobile/histo_1_1.JPG

Как можно определить вид распределения?

По оси Х - яркость 0-255 (шаг 1), по оси Y - количество пикселей. Известно число пикселей в каждой точке.

А зачем? Нужно подбирать метод анализа или еще что-то? Может, пойдет определение эмпирической функции плотности распределения (kernel density estimates)?

[nokh]

> Игорь
Спасибо за ссылки, как всегда полезные и еще не все посмотрел. Но меня раскритиковали, а своего варианта не предложили! Я руководствовался материалом, который приложил к этому сообщению. Согласно ему, лучший критерий для гистограммы из сообщения Tochka - Дэвида-Хартли-Пирсона. По поводу критерия Колмогорова-Смирнова. Критерий с таким названием есть в самых разных книгах, энциклопедиях и статистических пакетах. Поэтому следует признать, что если такого критерия и не было, то он уже давно есть .

Сообщение отредактировал nokh - 22.11.2008 - 18:23

Прикрепленные файлы

 Мощность_критериев_нормальности.pdf ( 188,39 килобайт ) Кол-во скачиваний: 2781

 

[Игорь]

Спасибо за ссылки, как всегда полезные и еще не все посмотрел. Но меня раскритиковали, а своего варианта не предложили!

Если данные представлены уже в виде гистограммы, то взял бы критерий хи-квадрат Фишера.

Я руководствовался материалом, который приложил к этому сообщению. Согласно ему, лучший критерий для гистограммы из сообщения Tochka - Дэвида-Хартли-Пирсона.

Возможно, материал ошибается. Хотя бы уже тем, что относит упомянутый метод к критериям нормальности. Кстати, как для гистограммы вы будете оценивать размах и дисперсию?

Для малых выборок взял бы Шапиро-Уилка, для больших - Шапиро-Франсиа и модифицированный Колмогорова (с соответствующими критическими значениями).

По поводу критерия Колмогорова-Смирнова. Критерий с таким названием есть в самых разных книгах, энциклопедиях и статистических пакетах. Поэтому следует признать, что если такого критерия и не было, то он уже давно есть .

Авторы упомянутых источников ошибаются. Самое лучшее для них - признать ошибки и исправить их. Так обычно и поступают настоящие ученые. Или упорствовать в заблуждении и прослыть невеждами. На пакеты программ вообще бы ссылаться не стал, т.к. там спорных утверждений еще больше.

Колмогоров и Смирнов никогда не создавали вместе ни статей, ни методов. Да и статистики Колмогорова и Смирнова отличаются существенно, в чем можно легко убедиться. Я в курсе, что в источниках и зарубежных (им-то простительно - читать по-русски не умеют) пакетах программ статистикой Колмогорова-Смирнова часто называют статистику Колмогорова. Но причем тут Смирнов? Он к данному методу отношения не имеет.

Сообщение отредактировал Игорь - 23.11.2008 - 15:34