всем привет. очень нуждаюсь в помощи и советах.... кто то знаком с multifactor dimensionality reduction??? что можно почитать о том как работать в этой среде? для каких видов данных она предназначена??? а то мне все что встречалось касается генной информации. можно ли применять другие выборки? спасибо

А что за данные Вы собираетесь обрабатывать? И какой результат ожидаете?

есть данные по кардиологии. предоперационных набор параметров и постоперационных.планирую применить логистическую регрессиюю для определения риска того или иного вмешатальства и ислледования влияния пороков. посоветовали воспользоваться multifactor dimensionality reduction и permutation test.пока понятия не имею с чего начать и к чему приступить

Пермутация это просто, Вы лишаете данных корреляции. Вход и выход модели проверяется для перемешанных данных, когда парные значения вход-выход разрушены (что приятно прочие свойства данных сохраняются). Параллельно полезно проводить бутстреп (перевыборку) пар вход-выход модели, корреляция сохраняется, но состав выборки меняется за счет выборки с возвращением.

Практически у Вас получится облако значений параметра модели для данных бутстрепа, и облако (некая базовая точка отсчета) значений параметра модели когда связи заведомо нет.


Применимо это к любой процедуре обработки данных полезность которой хочется доказать, а теория еще для неё не разработана.

Метод multifactor dimensionality reduction интерполяционный, без перечисленных выше мер проверки его бесполезно использовать для экстраполяции. Как всякий интерполяционный метод он будет находить "зависимости" везде, даже в чисто случайных данных.

Откровенно говоря логистическая регрессия выглядит предпочтительнее (и к ней можно смело применять бутстреп и пермутацию

ого го... чувствую себя вообще стерильной.... наверно надо чтоб вы мне посоветовали вообще с чего начать так как ниразу не проводила такого рода анализа... скажем так у меня есть база с кучей данных, а что теперь с ними делать - без понятия... то что вы сказали для меня совсем туго... и на ряду с пермишин тестом и MDR также советовал руководитель ознакомится с лог регрессией.. я только начала рассмотрение этой темы

если я правильно поняла мне нужно начать с логрегрессии??? как тогда ее применять на практике???

не сдаваться!

вот например бутстреп и пермутация для графика собственных значений анализа принципиальных компонент http://p2004r.blogspot.com/2011/04/blog-post.html

вместо анализа принципиальных компонент может быть _любой_ другой метод анализа данных, принцип от этого не меняется

посмотрите только на рисунок ---- вместо одной линии (на самом деле это точки соединенные линией) собственных значений мы получили их 1000 штук. естественно они точно не совпали. мы 1000 раз случайно _копировали_ (не извлекали!, тоесть у объекта оставалась возможность быть скопированным повторно!) объекты наблюдения (строки в таблице данных).

Каждый раз из 1000 мы копировали случайно столько объектов сколько составлял размер исходной анализируемой выборки. Это бутстреп.

Таким образом у нас получилась первая группа линий (похожая на экспоненциальный распад). хм и почему я вывел обе группы не разным цветом ? )


Пермутацией получена более пологая группа линий. Там мы только перемешивали 1000 раз _отдельно_ каждую из переменных описывающих объект наблюдения. Тем самым мы разрушали корреляционные связи.


Таким образом мы получили распределение интересующего нас параметра с сохранением корреляционной связи (бутстреп) и с разрушением (пермутация) и теперь можем гордо ответить на вопрос сколько главных компонент достоверно составляют простую структуру. В случае другой методики анализа данных смысл остается тот же --- мы уверены что показатель вычисленный нами не случаен.

давайте на примере каких то Ваших данных (в соседней ветке в принципе я делал пример этой регрессии на примере данных о метастазах)

нужно набор переменных "до" и переменная типа да-нет (или которую можно сделать такой) "после" вмешательства.

ну в какой то степени понятно...
что касается данных - вас интересуют все параметры которые есть в таблице или просто несколько для обьяснения работы??? и в каком виде?
а не сможете ли вы дать мне ссылочку на ту тему где рассматривался пример?

вот с этого сообщения начинается http://forum.disser.ru/index.php?showtopic...ost&p=12230


"до" можно несколько, можно все (на сложности демонстрации это практически не скажется)

"после" лучше выбрать одну две самые интересные (иначе Вам ничего не останется для самостоятельной работы )

здравствуйте, решила попытаться сделать вот что. задача пока не поставлена передо мной конкретная поэтому сама думаю что можно делать... попытаться сравнить диеагностическую эффективность Euroscor и данных полученных мною при логрегрессии. возможно бред. тогда остановите меня заранее.

мои данные.
решила брать те параметры которые применяются в евроскоре. проблема что их еще всех у меня на сегодняшний день нету. но как вы сказали мне главное суть понять...
"до"
ID - Familia - Vozrast - Data_operatsii - Pol - HronichZabol_Legkih - Nevrolgiya - PerenOperatsii - Stenokardiya - Vremya_posle_posled_IM - Gipertrof_L_ZH IM
"после"
жив - мертв

пока наверное так хотя хочется привязаться к патологии

а сам файл с данными?

по названиям не очень понятно...

ну и вот дата например, само по себе понятно, но возникает вопрос: будем на день недели преобразовывать? или лето-зима-осень весна?

креплю

в чем пишутся все эти коды??? я думала нужно будет в каком то пакете типа статистика или спсс делать

а все я поняла.... язык и среда для статистических вычислений и графики R.

так время операции в качестве чего будет использоваться?

скорее всего оно бы использовалось не для анализа, а просто для общих сведений, как айдишка. а вообще задача немного поменялась.... сказали из базы проанализировать 4 столбца. к примеру инфаркт миокарда. и найти какие то зависящие факторы. из этого сделать выборку и посмотреть будет ли достаточное количество данных.

Алена, советую всегда действовать от простого к сложному:
у вас есть данные по пациенту до операции и после - с точки зрения статистики это очень удачный случай, так как совокупности напрямую связаны (т.е. вы знаете не "что в среднем бывает после такой-то операции" а конкретную выборку "значение до" - "значение после") Поэтому вы легко сможете оценить эффективность и риски каждого из типов вмешателсьств с помощью критериев для связанных совокупностей. Это первое что вам, на мой взгляд, стоит сделать.

следующий шаг - попытаться применить регрессионный анализ. Что это по сути? А то, что вы не просто хотите поисследовать эффективность и риски операции и успокоиться, а еще и предложить коллегам методику прогнозирования рисков для каждого типа вмешательства. То есть, я вам даю набор параметров конкретного (!) пациента, а вы мне даете оценки его параметров после операции. Этим и занимается регрессионный анализ - в общем случае пытаемся построить функцию, которая на входе имеет параметры до операции, а на выходе дает математическое ожидание и дисперсию параметра после операции. Получится или нет - это тоже вопрос исследования.

а самый безпроигрышный вариант - найдите хорошую статью где решены аналогичные задачи (тематика в данном случае не важна) - люди уже разбирались, думали, писали - глупо не воспользоваться! Часто такая канва бывает очень важна в начале исследования, а потом уже развивать будете. А то советовать на форумах все горазды, и я в том числе!))) эти советы могут так увести от истины, что потом не распутаться

вот например после постов p2004r я тоже чувствую себя стерильным, хотя и имею кандидатскую степень в физмат науках)))

ну значит круче к кандидатской по медицине иметь магистерскую в информатике

... и книжки читать по многомерному анализу данных (можно даже изданные в СССР).

спасибо! я с вами согласна... я всегда начинаю с поиска похожего чтобы хоть как то понять суть вопроса... я и начинала тему с просьбой о совете что почитать на тему MDR и пермишн теста. но так же понимала что в самой статистике пока не ас. начинаю изучать азы... ситуация так сложилась... 2 года трудилась ни над чем научрук говорил - давай давай, а там посмотрим... когда решилась менять его естественно новая тема, новое направление... вот и буду изучать сию науку...
так что сегодня вечером анализирую базу, все параметры до/после. дальше отпишусь с вопросами

просто сама не могла толком сформулировать свои пожелания... извините!

просто по литературе (запомнилось) обычно встречаешь что учитывают день недели и сезон года, это как я понимаю считается вполне влияющим фактором на исход операции. еще бывает ситуация повторных операций, но здесь ситуация другая.

просто так запихивать в glm() (generalized linear models) предикторы явно не стоит. сейчас понятно что имеет место зависимая бинарная --- выжил-нет.

как я понял мы ищем что связано с этой переменной? (и её в самом файле с примером данных нет?)

тогда нам надо подготовить предикторы,


например словесно записана степень проявления HronichZabol_Legkih. если это степень проявления и все уровни нарастают от нет, то надо её преобразовать в ранговую величину. "нет" - 0, "легкая" - 1 и т.д. (при этом если гормонотерапия приписывается к разным уровням, то это выносится в отдельный бинарный признак).

аналогично преобразуется Gipertrof_L_ZH, тоже в ранговую величину.

если это все уровни у стенокардии то её тоже в ранговую

наиболее трудно с Vremya_posle_posled_IM. "нет" и время очень даже различные вещи что бы быть в одной переменной. тут надо думать как это представить.

В "вашей реальности" в курсе кто такой Бонферонни?

"Ковровое бомбометание тестами" вообще самое отвратительное что можно советовать начинающему изучать анализ данных.

PS http://languagelog.ldc.upenn.edu/nll/?p=3074

Здравствуйте!

Довольно продолжительное время работаю с MDR, программа в основном предназначена для поиска ассоциаций полиморфизмов одиночных нуклеотидов (single nucleotide polymprphism, SNP) и риском развития мультифакторной патологии. Метод имеет определенные преимущества над логистической регрессией, хотя обычно их применяют в "пачке"

Для того, чтобы понять принцип работы метода, начните с этого:

http://www.ncbi.nlm.nih.gov/pubmed/12584123 (закачивайте полный текст статьи).

Кроме этого, MDR уже реализован в R: http://www.ncbi.nlm.nih.gov/pubmed/21846375

Также очень будет полезным почитать блог самого автора, если у Вас работа связана с изучением межгенных взаимодействий (эпистазис) - http://compgen.blogspot.com/

Если что-то будет не понятно - буду рад помочь!

ой пасибки! я так рада что смогу с кем то советоваться! обещаю сильно не надоедать... пока просматриваю все материалы...

TheThing, извините еще за глуппый вопрос. я алгоритм и статьи почитала... насколько поняла то этот MDR можно применять не только используя какие то гены для определения риска патологии или нахождения взаимосвязей но и в других отраслях.моя проблема в том что у меня не будет ни одного параметра по генам... а патологию нужно будет определять в зависимости от скажем инфаркта или сердечно сосудистой недостаточности. нету ли каких то ссылок с такого рода материалом??? я просмотрела и все статьи с основных сайтов и в паб меде прорылась. пока безрезультатно....или мне просто нужно будет те пераметры что есть у меня закодировать в файлик ноликами и единичками и дальше работать с ним? тогда что если не 2 значения а больше...

Прошу прощения за столь длительный ответ, был в командировке.

Дело в том, что MDR действительно разрабатывалась для оценки межгенных взаимодействий, а также взаимодействий ген-окружающая среда, поэтому если у Вас данные не имеют генетической природы, я не советую применять этот метод (возникает вопрос, кто и зачем посоветовал Вам применять его для не генетических исследований?) В PubMed Вы таких работ не найдете. Насколько я представил Вашу задачу, то логистическая регрессия вполне может справиться. Единственное, обратите внимание, сколько у вас предикторов (и какие они - категориальные, количественные и т.д) на входе и какой размер выборки? Часто бывает, что люди запихивают абсолютно все данные, которые удалось внести в базу данных (например около 20 независимых переменных) и при этом размер выборки 40 человек. И если у "нас" такое еще может пройти, то на западе одним из главных вопросов будет - what is the power of the test?

всем привет. буду благодарна за подсказки! скажите в МDR как кодируются данные? я смотрела пример там 0,1,2 когда я попыталась ввести скажем еще 3 то уже не работало... и что кодируется нулем что 1 и 2? я о том что к примеру если да то 1, если нет то 0?

На входе метода

the dataset; an n by (p+1) matrix where the first column is the binary response
vector (coded 0 or 1) and the remaining columns are the p SNP genotypes (coded
numerically)

0 1 2 это "case of two biallelic markers with three possible genotypes"

http://en.wikipedia.org/wiki/Single-nucleotide_polymorphism

как то сразу тяжело предложить как SNP переложить на что то другое

Если вы НЕ анализируете межгенные взаимодействия или же взаимодействие ген-окружающая среда, то зачем вам нужно использовать метод MDR??
MDR разрабатывался для анализа генетических данных.

мне сказали что если правильно закодировать данные то не важно межгенные там взаимодействия или какие то другие

Странный совет вам дали. 0, 1, 2 обычно кодируется генотип (АА, Аа, аа).
Используйте обычные статистические пакеты, т.к. не понимая ни основ статистики, ни генетического анализа, вы не сможете правильно закодировать данные и посчитать результат.

Привет, _alena_ !
Хочу напомнить, что термин "Reduction" означает свёртку, уменьшение, снижение (в контексте письма) размерности пространства признаков. Т.е. это не 1 какой-то конкретный метод, а целый набор различных методов. Многие из этих методов описаны в книгах по многомерной статистике, и не только в книгах. Можете найти на Ютюбе "Канал пользователя biostat1911", где некоторые из этих методов кратко описаны в видео-формате. Это означает, что неправильно ориентироваться на выбор 1 единственного метода. Все методы этой группы взаимно дополняют друг друга. В принципе я согласна с "p2004r" в том, что логит-регрессия в данном случае более предпочтительна. Однако для того чтобы выбрать лучшие уравнения логистической регрессии, и далее верно интерпретировать эти уравнения, нужны результаты и по другим методам. А сделать корректно это под силу лишь профессиональным биостатистикам. Это ведь не вычисление дисперсии или коэффициентов корреляции. У меня тоже в своё время были аналогичные данные и задачи. И я сама кое-что наковыряла. Но когда познакомилась с результатами лог-регрессии у своего научного руководителя, которому считал профессионал, поняла, что мои результаты не имеют никакой ценности. И далее списалась с профи. В результате из сотни с лишним уравнений, полученных для разных подгрупп больных, выбрала около десятка самых ценных и удобных. Вообще надо понимать, на что лучше с большей пользой потратить время: на самоделки в сложной статистике, или на осмысление результатов, полученных профи. Я лично за второй вариант. Кстати, у америкосов в журналах прямо об этом говорится. Потому у них среди соавторов статей так много профессиональных биостатистиков.

Здравствуйте, Татьяна!

Я понимаю, но особо противоречить научруку не могу....сказал посмотреть что этим методом получится вот и пытаюсь как то разобраться и в логрегрессии и дискриминантном анализе и в MDR....

(((

уж совсем отчаялась....

так данные загрузите в форум в формате csv (если они не секретные конечно), с небольшим пояснением что из показателей выход, а что вход классификации. давайте вместе посмотрим что в них видно.

а вы и в МDR сможете мне что то подсказать?

Да выкладывайте уже, сможем-сможем

Cпасибо, только не хочу чтоб кто то что то сделал, выложил и все... я хочу сама разобраться... у меня есть много вопросов....

Задача моя посмотреть какие переменные влияют на исходную "Прогресс".

Что я уже делала с этими данными - строила корреляцию Кенделла и Тауба, результаты практически не отличаются...затем все переменные вводила в дискриминантный анализ и логистическую регрессию. результаты тоже между собой не давали особых отличий. Тоесть у меня если правильно - то появился список этих переменных?
Есть еще вопрос который стоило задать вначале - правильно ли я определила тип переменных???

Если все до этого было более менее правильно то теперь мне еще нужно точно так же с помощью MDR проверить какие переменные влияют на "Прогресс"

С уверенностью можно сказать какие переменные точно не влияют на Прогресс: СА, Stenoz артерий ног, Insult V. anemneze

Эти переменные можно исключить из рассмотрения.

Под сомнением стоят: Пол и Stenoz A. Realis, т.к. у них есть всего одно различие.

мне сам принцип понять.... я просто взяла выборку из 20 человек... и не проследила что там нету различных значений

Чтобы понять принцип, нужны полные данные, а не отдельные выборки. У меня телепатические способности не развиты, поэтому что увидел в выборке, то и сообщил.

У Вас только 20 случаев? Или это маленькая выборка из основной?

извините, не думала что прям так важно все данные скидывать.

это маленькая из основной. для понимания принципа как и что делать... если нужно больше то загружу остальное

Загружайте все что есть, если данные не секретные

А по выборке есть закономерности:

вероятность прогресса = 1 - A - B + 2AB

где:

В = (С + D) / 2

А - Shunt (1 - наличие, 0 - отсутствие)
C - AG Terapia (1 - наличие, 0 - отсутствие)
D - AIK (1 - наличие, 0 - отсутствие)

При условии, что обозначения в файле выборки соответствуют: 2 - наличие, 1 - отсутствие

лучше больше случаев видеть конечно.

переменная Statiny : что означают её уровни?

наличие-2, отсутствие-1. как была получена такого рода закономерность вообще не понятно.

Банально. Элементарная теория вероятностей. Если выложите полные данные, то можно будет получить более уточненные закономерности в виде математической модели, где вместо вероятности будет частота.

сейчас загружу остальное... но я ж говорю мне бы понять самой что делать да как....
Статины:
1-не применяются
2-применяются (неэффективная доза)
3-применяются (эффективная доза)
4-прекратили прием (эффективная доза)
5-прекратили прием (неэффективная доза)

Учиться, учиться и еще раз учиться (с) В. И. Ленин

Теория вероятностей не является секретной, поэтому изучить ее никогда не поздно.

файл