Построение корреляционного графа и его анализ Опции

[nokh]

Пробую разобраться в элементах анализа социальных сетей (Social Network Analysis - SNA). Материал: в группах больных и здоровых измерена концентрация 30 биохимических показателей. Хочу сделать следующее:
1) На основании предварительно расчитанных ранговых корреляций построить для обеих групп корреляционные графы, в которых бы рёбра положительных и отрицательных корреляций изображались линиями разного типа, например: сплошной и пунктирной.
2) Используя в качестве порогового значения заданный мной показатель коэффициента корреляции (например +/- 0,3 или +/- 0,5) создать бинарную матрицу смежности. Т.е например, все корреляции менее 0,3 по абсолютной величине станут 0, а |0,3| и более - |1|.
3) Покрутить полученное решение разными алгоритмами и выбрать наиболее наглядное решение. Линии тоже - сплошные и пунктирные.
4) Желательно встроенными в пакет средствами определить кластеры показателей в полученном решении.
5) Сравнить 2 сети и построить некий обобщённый граф, в котором бы различия между ними были хорошо видны.

Много чего скачал и урывками просмотрел хелпы (Pajek, yEd Graph Editor, KrackPlot, Cytoscape, Meerkat, ORA и ещё несколько, включая 2 пакета для R). Основная проблема: разные пакеты не хотят работать с корреляциями или с отрицательными корреляциями. Если работают, то нет возможности автоматически генерировать из них матрицы смежности с разными пороговыми значениями r. Сложилось впечатление, что эволюция пакетов идёт исключительно в сторону возможностей обработки всё больших массивов данных и преимущественно из интернета, а у меня микросеть и несколько другая задача.
Хотелось бы сделать работу в таком ключе: http://www.barabasilab.com/pubs/CCNR-ALB_P...NetMedicine.pdf

Кто работал с сетевым анализом? Подскажите, пожалуйста, какой пакет подойдёт для моих целей? Может посоветуете разные программы для отдельных этапов? Не понятно пока как сравнить сети и визуализировать различия.

PS Всех женщин-участников и читателей форума - с Праздником! Успехов в научных и житейских делах!

Сообщение отредактировал nokh - 8.03.2012 - 17:02

[100$]

Вынужден сдуть пыль с этой темы.

Nokh, у меня возникла необходимость "сделать красиво" хорошему человеку: в исследовании 100 объектов, каждый объект охарактеризован вектором из 196 координат.

У меня в связи с этим вопрос: корреляционный граф над матрицей размерности 196х196 вряд ли будет информативным, поэтому как происходит "прунинг" ("прореживание") такого графа: выбором порога отсечения? Скажем, все, что по абсолютной величине >=,8 видно, а остальное - нет?

Есть какой-то "самый-самый" пакет с этой точки зрения?

И еще: приходилось ли вам иметь дело с "температурной картой" корреляционной матрицы? Знаю точно, что эта возможность реализована в R, но я в нем ни в зуб ногой.

Как всегда заранее благодарен за любую наводку, подсказку и обмен впечатлениями.

[nokh]

Вынужден сдуть пыль с этой темы.
Nokh, у меня возникла необходимость "сделать красиво" хорошему человеку: в исследовании 100 объектов, каждый объект охарактеризован вектором из 196 координат.
У меня в связи с этим вопрос: корреляционный граф над матрицей размерности 196х196 вряд ли будет информативным, поэтому как происходит "прунинг" ("прореживание") такого графа: выбором порога отсечения? Скажем, все, что по абсолютной величине >=,8 видно, а остальное - нет?
Есть какой-то "самый-самый" пакет с этой точки зрения?
И еще: приходилось ли вам иметь дело с "температурной картой" корреляционной матрицы? Знаю точно, что эта возможность реализована в R, но я в нем ни в зуб ногой.
Как всегда заранее благодарен за любую наводку, подсказку и обмен впечатлениями.

К сожалению, сетевой анализ - один из тех редких случаев, когда я потратил кучу времени впустую. Сейчас уже мало что помню, даже термины из своих постов выше забыл Но у меня в компе остались установочные файлы десятка пакетов, а значит я их опробовал и либо не разобрался, либо результат не устроил. Короче, с сетями - завал.

С другой стороны, помочь "хорошему человеку" можно. Ведь не обязательно строить корреляционный граф. Как раз с точки зрения интерпретации связей лучше многомерные проекционные техники типа главных компонент и факторного анализа. Тот подход, который я описал в сообщении #5 - готовая рабочая технология. За прошедшие 5 лет она не претерпела принципиальных изменений, всё что я освоил ещё: 1) проводить анализ на ограниченном числе показателей, но отслеживать в полученном многомерном пространстве и другие интересующие - скажем, индикаторные; 2) сравнивать матрицы факторных нагрузок прокрустовым методом с получением р не только для всей матрицы целиком, но и для строк, столбцов и для каждой отдельной ячейки матрицы (макрос для SPSS Кирилла Орлова http://spsstools.net/ru/KO-spssmacros ) Технология работает, всё всегда хорошо интерпретируется, все довольны. Показателей, конечно, многовато; я бы с хорошим человеком-специалистом в предметной области выбрал из 196 меньший, но более осмысленный набор.

По "температурным" графикам кроме R - вероятно мало что есть. Я когда-то баловался такой штукой: http://www.cs.umd.edu/hcil/hce/ Проект мёртвый, но поскольку делался на академические деньги - доступен бесплатно. Кстати, two-way кластерный анализ здесь тоже очень неплох в качестве эксплораторного метода. Но, насколько помню, в HCE мер расстояния катастрофически мало.

Если не "моя" технология, то найдите картинку в сети, типа чего хотите получить. Можно попробовать и в R это сделать - мне тоже полезно будет освоить + в этом семестре время пока б/м есть.

[100$]

Ведь не обязательно строить корреляционный граф. Как раз с точки зрения интерпретации связей лучше многомерные проекционные техники типа главных компонент и факторного анализа. Тот подход, который я описал в сообщении #5 - готовая рабочая технология. За прошедшие 5 лет она не претерпела принципиальных изменений, всё что я освоил ещё: 1) проводить анализ на ограниченном числе показателей, но отслеживать в полученном многомерном пространстве и другие интересующие - скажем, индикаторные; 2) сравнивать матрицы факторных нагрузок прокрустовым методом с получением р не только для всей матрицы целиком, но и для строк, столбцов и для каждой отдельной ячейки матрицы (макрос для SPSS Кирилла Орлова http://spsstools.net/ru/KO-spssmacros ) Технология работает, всё всегда хорошо интерпретируется, все довольны. Показателей, конечно, многовато; я бы с хорошим человеком-специалистом в предметной области выбрал из 196 меньший, но более осмысленный набор.

По "температурным" графикам кроме R - вероятно мало что есть. Я когда-то баловался такой штукой: http://www.cs.umd.edu/hcil/hce/ Проект мёртвый, но поскольку делался на академические деньги - доступен бесплатно. Кстати, two-way кластерный анализ здесь тоже очень неплох в качестве эксплораторного метода. Но, насколько помню, в HCE мер расстояния катастрофически мало.

Если не "моя" технология, то найдите картинку в сети, типа чего хотите получить. Можно попробовать и в R это сделать - мне тоже полезно будет освоить + в этом семестре время пока б/м есть.

Nokh, спасибо,
у меня на периферии сознания факторный анализ маячит постоянно, но уж больно у меня нетривиальная задача: этот вектор о 196 координатах - адская смесь дихотомических, порядковых и количественных показателей. Думал состряпать матрицу коэффициентов Гауэра (корреляции разнотипных признаков), а над ней повесить упомянутый граф - больно уж заказчик впечатлился, увидев его в одной опубликованной статье. Вот тут и возникает вопрос: в том же R, например, над готовой матрицей можно построить граф, или нужны "сырые" данные.

Буквально вчера убедился, что температурная карта матрицы корреляций уже реализована в Statistica, начиная с 13 версии. Однако, похоже, это возможно только при формировании корр. матрицы из "сырых" данных и раскрасить таким образом готовую матрицу не получится. Чует мое сердце, что придется писать макрос к Экселю...

Сообщение отредактировал 100$ - 21.01.2017 - 12:51

[nokh]

Nokh, спасибо,
у меня на периферии сознания факторный анализ маячит постоянно, но уж больно у меня нетривиальная задача: этот вектор о 196 координатах - адская смесь дихотомических, порядковых и количественных показателей. Думал состряпать матрицу коэффициентов Гауэра (корреляции разнотипных признаков), а над ней повесить упомянутый граф - больно уж заказчик впечатлился, увидев его в одной опубликованной статье. Вот тут и возникает вопрос: в том же R, например, над готовой матрицей можно построить граф, или нужны "сырые" данные.

Гауэр - г..., вообще "не работает". Не знаю почему не работает; решения на простых, пусть и некорректных, пирсоновских корреляциях, всегда куда лучше интерпретируются. В нахваливаемом мной нелинейном анализе главных компонент тоже можно работать с "адской смесью". Только каждый признак придётся настраивать вручную, поэтому и написал, что 196 - многовато. Плюс вообще, таблицу факторных нагрузок из 196 строк сложно и неудобно интерпретировать (обычно у меня - до 25-30 максимум). Может для 196 именно граф и оптимален, если получится сделать - покажете картинку?
Я пользуюсь тем вариантом нелинейного PCA, в котором к исходной матрице данных применяется преобразование Джифи (Gifi). Там история интересная. Альберт Джифи, вообще говоря, был дворецким Фрэнсиса Гальтона, который наряду с Пирсоном делал современную статистику в конце 19 века. Может он в чём-то помогал Гальтону и был несправедливо обделён вниманием - не знаю, но только в 1990 г вышла монография Gifi, A. (1990). Nonlinear Multivariate Analysis (Ed. W. Heiser, J. J. Meulman, & G. van den Berg). Wiley, Chichester. В ней под коллективным псевдонимом А. Джифи стоял коллектив математиков из лейденского университета (Нидерланды), который возглавлял американец Ян де Лиув (так он сам произносит своеё имя у себя на сайте). Книгу выпустили, но далее пути участников проекта разошлись. В Лейдене осталась работать команда под началом Anita J. van der Kooij, они внедрили метод в пакет SPSS под названием CATPCA (Categorical PCA), причём никогда и никак не ссылаются на Jan de Leeuw (видно дружно поработали). Jan de Leeuw выпустил на том же преобразовании Джифи пакет homals под R, кстати тоже на голланцев не ссылается, всё больше на себя:). Суть преобразования заключается в многомерной взаимной линеаризации связей показателей. CATPCA и homals дают при "грубых" настройках идентичные результаты, но CATPCA позволяет сделать более тонкую настройку и применить вращение факторного решения, поэтому мне нравится именно эта реализация. По мне так вообще метод универсальный: если все признаки качественные - получатся решение с математикой множественного анализа соответствий, но в терминах PCA, если все признаки количественные - можно получить решение в точности равное РСА (смотря как группировку настроить), для порядковых признаков можно использовать ранжирование и сглаживание сплайнами... Если будет интерес - могу показать на каком-нибудь небольшом примере.

[100$]

Гауэр - г..., вообще "не работает". Не знаю почему не работает

Много думал, почему не работает, и пришел к выводу, что знакомые нам коэффициенты корреляции являются мерой сходства/различия в пространстве признаков, а Гауэр - мера сходства в пространстве объектов. В общем, сложилось ощущение, что если под коэффициентом Гауэра мы оба понимаем вот это (стр. 163-164 в книге и 159 на полосе прокрутки страниц), то факторный анализ к такой матрице непременим, и, образно говоря, вместо кубика Рубика вы крутили в руках кирпич.

Сообщение отредактировал 100$ - 26.01.2017 - 23:03