Добрый день, коллеги.
Прошу помощи в понимании результатов анализа с помощью MDR, а также ссылок на работы, где проводился подобный анализ.
Конкретно интересует как понимать графики энтропии:

Нажмите для просмотра прикрепленного файла
Нажмите для просмотра прикрепленного файла

Также, если кто встречался, подскажите где посмотреть что то вроде руководства к программе MDR.

Благодарю вас!

Отвечаю сам на свой вопрос
http://compgen.blogspot.ru/2006/12/mdr-101...rpretation.html

Коллеги, подскажите пожалуйста, каким образом вычислить значение р на основе известного значения Т-статистики в quantitative MDR?
В литературе [Gui и др., 2013] встречается следующая формулировка:

We use the training score to determine the best K-order interaction model and use the maximum testing score to identify the best overall model. When there is no SNP effect, QMDR attributes from the testing set are equivalent to ones randomly assigned to the high or low level group. Therefore we expect that the null distribution of the testing score follows a normal distribution with mean 0. We can then use an empirical null distribution to estimate the p-value of the chosen model.

Иными словами:
Если SNP не связан с анализируемым показателем, значения атрибутов QMDR в тестовой выборке эквивалентны таковым случайно отнесенным к группе с высоким или низким уровнем анализируемого показателя. Поэтому ожидается, что нулевое распределение "оценки тестирования" соответствует нормальному распределению со средним = 0. Поэтому можно использовать эмпирическое нулевое распределение, чтобы оценить значение р выбранной модели.

Вы не сформулировали нулевую гипотезу, ведь t-статистика применяется в различных критериях.
Если я правильно понял. в этом случае проверяется нулевая гипотеза о том, что среднее значение равно нулю.
В этом случае применяется одновыборочный t-критерий.
Вычисления можно сделать в Excel, SPSS и др.
Вручную также несложно вычислить двустороннюю значимость /p-значение/ , используя Вашу T- статистику, число степеней свободы /n-1/,
и таблицу критических значений t-критерия Стьюдента.
Предполагаю, что все это реализовано и в MDR.

Прошу прощения, но в MDR я ничего, позволяющего вычислить р, не нашёл.
Я объясню ситуацию.
В результате MDR-анализа взаимосвязи нескольких SNP, пола и этнич. принадлежности с неким количественным исходом была получена следующая "лучшая" модель:

Модель
nat,CAT_rs7943316
Т-стат (обуч)
3,8483
Т-стат (тест)
3,3525
Сходимость
9/10

Нажмите для просмотра прикрепленного файла

На рисунке графически изображено следующее:
Model Detail:

Combination-----Count------ SOD Average------difference from global average 203,5074-----Predicted 'SOD'

1,A/T--------------42,0--------229,2429-----------------------------------------25,7354------------------1
1,T/T--------------32,0--------141,5875----------------------------------------_-61,9199------------------0
1,A/A--------------10,0--------215,16-------------------------------------------11,6526------------------1
2,A/T --------------64,0--------163,0594----------------------------------------_-40,448------------------0
2,T/T--------------53,0--------224,5962-----------------------------------------21,0888------------------1
2,A/A--------------28,0--------284,0429-----------------------------------------80,5354------------------1


Нулевая гипотеза, если я правильно понимаю, звучит следующим образом:
Данная комбинация факторов (nat, CAT_rs...) случайным образом разделяет выборку на категории с повышенным и пониженным (относительно глобального среднего) уровнем исследуемого показателя. То есть, распределение "тестирующей Т-статистики" согласно нулевой гипотезе должно соответствовать нормальному распределению со средним = 0.

Я установил MDR версии 3.0.2. В этой версии в комментариях к Best Model имеется p-значение для критерия хи-квадрат.
Также указаны чувствительность и специфичность и др. для модели с данным набором показателей.
Следовательно, главная нулевая гипотеза в MDR анализе - об отсутствии связи между истинной классификацией и классификацией,
полученной с помощью данной модели (т.е. составляется и анализируется таблица сопряженности 2 на 2).
Другими словами, мы оцениваем качество модели как бинарного классификатора.
При этом можно сравнивать модели ( и показатели!).
Нулевая гипотеза в Вашей формулировке мне кажется , по крайней мере, очень странной.

Можно воспользоваться любым онлайновым калькулятором. Например этим: http://www.graphpad.com/quickcalcs/pValue1/ . Это на сайте конторы, выпускающей серьёзный пакет по анализу регрессионных зависимостей. В графу t вбить значение t-статистики, в графу DF - число степеней свободы. При сравнении выборочного среднего с теоретическим значением число степеней свободы DF будет (n-1) (см. Zar со стр. 97).

PS. MDR здесь вообще не при чём. Можно придумать миллион методов, так или иначе, сводящихся к t-распределению Стьюдента.

Очевидно, Вы запустили стандартный вариант MDR.
В количественном всё несколько иначе - попробуйте пожалуйста запустить MDR на демонстрационной базе данных с количественным исходом из директории установки MDR (MDR-SampleData-continuous-endpoints.txt).

Понимаете, я никак не могу уяснить для себя один момент.
В qMDR-модель входит несколько показателей:
Нажмите для просмотра прикрепленного файла
В каждой клетке Вы видите определенное отличие от среднего. Вопрос в том, какие из этих отличий значимы.
Почему вычисляется одно единственное значение р для всей модели, а не для каждой клетки?

Задал вопрос Jiang Gui:
In qMDR, when we get a testing T-statistics score, how can we then calculate a p-value of model? Can we simply calculate it using testing T-statistics score and N(samples)-1 degrees of freedom, like Agirbasli et al. (2013) (http://www.ncbi.nlm.nih.gov/pubmed/23988150)?
вот что он ответил
No. It will give you inflated type I error. You should use empirical null testing score or permutation test to estimate the p-value.

Ну это самый простой вопрос, т.к. дальше сложнее. Значимость всегда рассчитывается для всей модели. Примеров - масса: регрессионные модели, хи-квадрат для таблиц сопряжённости, модели дисперсионного анализа... Везде получаем одну статистику и одно значение р. На то она и модель, чтобы подгонять все имеющиеся данные, соответственно и значимость считается для всех данных, а не каких-то отдельных блоков. А вот далее, уже в рамках какой-то полученной модели, может потребоваться дополнительный уточняющий анализ, например: какие наблюдения сильнее всего повлияли на уравнение регрессии, какие ячейки таблицы сопряжённости внесли наибольший вклад в значение хи-квадрат, какие группы в рамках всего дисперсионного комплекса отличались между собой. Однако такая проверка всегда проводится после оценки всей модели и проводится совсем другими статистическими техниками: поиском выбросов и влиятельных наблюдений в регрессии, поиском отклонений Фримана-Тьюки или стандартизованных остатков Хабермана для таблиц сопряжённости, путём запланированных либо апостериорных сравнений в рамках дисперсионного комплекса...

Применительно к MDR мне пока многое не понятно, особенно в случае количественного отклика. Бегло посмотрел статью Jiang Gui с соавт. A Simple and Computationally Efficient Approach to Multifactor Dimensionality Reduction Analysis of Gene-Gene Interactions for Quantitative Traits, но пока так и не понял как они сводят оценку модели к t-статистике. Вообще для выбора лучшей модели обычно используются информационные критерии: байесовский или Акаике. Почему авторы пошли по другому пути? почему не считают p для моделей? почему в пакете на реализована рандомизационная процедура, если и в статьях и ответах на вопрос они рекомендуют именно её? Пока одни вопросы... А что в случае количественного отклика принимается за 0 и 1?

Спасибо за интерес к данной теме!
За 1 и 0 принимается отклонение от среднего в большую и меньшую сторону.
Этот вопрос раскрыт на блоге создателя MDR.
http://compgen.blogspot.ru/2006/12/mdr-101...-4-results.html
Note that MDR combines the high-risk and low-risk combinations into a new single attribute using constructive induction. It is the new single attribute that is statistically investigated. You can view the distribution of cases and controls for this single MDR attribute by going to the Attribute Construction tab at the top of the software. Once there, select the SNPs in your best model by holding down the control button and left clicking your mouse. Once the right SNPs are selected push the Construct button. This will add the new single MDR attribute to you dataset. Now do a forced analysis with that single constructed attribute and you will be able to see the statistics for the analysis of that variable along with the graphical model. In our newer papers we are putting the graphical model for the constructed attribute next to the graphical model given in the default output to show the MDR attribute construction process. This is helpful for readers to see what MDR is really doing.
То есть:
?Старые? атрибуты
nat,CAT_rs7943316 3,8483 3,3525 9/10
Нажмите для просмотра прикрепленного файла
?Новый? единый атрибут (?что на самом деле делает MDR?):
CAT_rs7943316_nat 3,8685 4,0719 10/10
Нажмите для просмотра прикрепленного файла

Скорее всего она внешняя, просто перемешать разрушая все кореляции в датасете, но набор хоятбы пары тысяч точек будет возможет только на кластере.

Есть программа для вычисления "permutation p-value", но только для данных с бинарной переменной ответа.
http://sourceforge.net/projects/mdr/files/mdrpt/

Перестановку можно организовать двумя способами: (1) многократным случайным разрушением связей в наборе, т.е. методом Монте-Карло и (2) перебором в точности всех возможных сочетаний (exact permutation). То, что (2) очень сложно уже проходили, но неужели и Монте-Карло на обычном ПК не пойдёт? И что значит "внешняя"?

А вообще будет время нужно посмотреть как метод делит количественный отклик. Если только по принципу больше/меньше среднего - это очень грубо, многомерные техники куда больше информации дают...

1) То есть авторы предполагали, что перемешать собственный датасет пользователь может самостоятельно и это настолько очевидно, что не должно входить в сам пакет.

2) Я собственно именно об этом и писал всегода, проще Boruta (если преобразовать данные для использования им xFerns то и скорость ломовая получается) или аналоги прогнать на датасете (по очереди каждую целевую переменную).

В мдр наверное привлекает людей, что "одним чохом" весь датасет обрабатывается пусть и грубо. (И скорее всего например bnlearn ничего не найдет в таких данных значимого). А думать как прикрутить тест значимости аналогично в многомерку проективную уже думать надо

Вроде бы я понял, как примерно звучит нулевая гипотеза в этом случае (далее цитата):
На основании этого можно оценить статистическую значимость отличия реальных суперпозиций видового состава двух сообществ от случайных композиций, извлеченных из некоторого общего "резервуара" видов.
http://ecopri.ru/journal/article.php?id=481
Перестановочный тест в многомерном случае (для проверки этой гипотезы) реализован и в пакете PAST /профессор на него ссылается/. Я пробовал, работает.
Только я не совсем понимаю (как человек, далекий от биологии, хотя в студенческие годы и изучал математическую генетику), тот ли индекс оценивается.