Анализ медицинских данных в R и SAS Опции

[hot_assay]

Здравствуйте!
Буду благодарен за рекомендации по использованию R и SAS в анализе данных клинических исследований (хотя бы минимальные, общего характера, с учётом того, что пользователю, привыкшему к Graphical user interface, нужно въехать в специфику рассматриваемо ПО )) . Интересуют преимущества данных систем по сравнению с другими (например, Statsoft STATISTICA). Какие модули необходимо иметь для решения медицинских задач? Заменяют ли R и SAS друг друга в плане фукционала? Отдельное спасибо за ссылки с практическими примерами по рассматриваемому вопросу.

[hot_assay]

Вы забыли описать что за медицинские задачи предполагается решать.

Спасибо за ссылки!
В том-то и дело, что не хотелось акцентировать внимание на каких-то частных задачах, меня интересует универсальность указанного выше ПО. Навскидку - стандартный набор инструментов (описательная статистика, таблицы сопряжённости, дисперсионный анализ, непараметрика и т.п.), многомерные методы, биоэквивалентность и фармакокинетическое моделирование (+графические возможности в плане построения кинетических кривых). И всё-таки: что лучше - R или SAS? (по совокупности критериев - универсальность, удобство работы и т.д.)

[DoctorStat]

И всё-таки: что лучше - R или SAS? (по совокупности критериев - универсальность, удобство работы и т.д.)

SAS - всеми признанный пакет для статистических расчетов, а R - пакет программ, написанный студентами в перерыве между лекциями.

[TheThing]

1) Первая и, наверное, самая главная причина, почему люди предпочитают SAS - это история, традиция и привычка. SAS работает начиная с 1970 года, R - значительно моложе. За эти годы в фармацевтических компаниях и банках было написано столько кода, что придется потратить десятилетия, чтобы переписать это на R. Никто этого делать не будет, поэтому все "серьезные" организации и конторы с историей работали и будут работать в SAS.

2) Качество литературы все таки на голову выше в SAS - про R в последние годы вышло довольно много хороших книг, однако в целом, еще не дотягивает до SAS - если в R отдельные книги хороши, то в SAS каждая книга - шедевр.

3) Функционал R поразительно возрастает с помощью пакетов, однако есть обалденные пакеты, а есть - откровенная лажа, поэтому Вам необходимо искать и хорошо искать, чтобы быть уверенным в корректном анализе. За качество функционала SAS отвечает SAS Institute - монстр с многолетней историей.

4) Для анализа данных за последние 15 лет, которые могут занимать несколько десятков гигабайт, в SAS можно обработать на машине с 4 Гб памяти, R - все данные хранит в ОЗУ, поэтому здесь могут возникнуть проблемы. И хотя есть обходные пути, которые позволяют обработать данные в R, которые занимают больше памяти, чем имеется на машине, над этим приходится шаманить, а в SAS все работает out-of-the-box.

5) Если в R что-то полетит или однажды он сойдет с ума у Вас на компе, разруливать эту ситуацию и форматировать жесткий диск будете Вы сами, а в SAS Вам всегда окажут техническую помощь в любое время суток SAS Institute.

6) SAS имеет несколько корявый синтаксис, но это дело привычки - за 30 лет пользования Вы этого не заметите.

7) Вы в курсе про стоимость SAS?

Не сочтите за рекламу SAS - сам пользуюсь и буду сидеть на R

Сообщение отредактировал TheThing - 27.03.2014 - 10:44

[p2004r]

1) Первая и, наверное, самая главная причина, почему люди предпочитают SAS - это история, традиция и привычка. SAS работает начиная с 1970 года, R - значительно моложе. За эти годы в фармацевтических компаниях и банках было написано столько кода, что придется потратить десятилетия, чтобы переписать это на R. Никто этого делать не будет, поэтому все "серьезные" организации и конторы с историей работали и будут работать в SAS.

2) Качество литературы все таки на голову выше в SAS - про R в последние годы вышло довольно много хороших книг, однако в целом, еще не дотягивает до SAS - если в R отдельные книги хороши, то в SAS каждая книга - шедевр.

3) Функционал R поразительно возрастает с помощью пакетов, однако есть обалденные пакеты, а есть - откровенная лажа, поэтому Вам необходимо искать и хорошо искать, чтобы быть уверенным в корректном анализе. За качество функционала SAS отвечает SAS Institute - монстр с многолетней историей.

4) Для анализа данных за последние 15 лет, которые могут занимать несколько десятков гигабайт, в SAS можно обработать на машине с 4 Гб памяти, R - все данные хранит в ОЗУ, поэтому здесь могут возникнуть проблемы. И хотя есть обходные пути, которые позволяют обработать данные в R, которые занимают больше памяти, чем имеется на машине, над этим приходится шаманить, а в SAS все работает out-of-the-box.

5) Если в R что-то полетит или однажды он сойдет с ума у Вас на компе, разруливать эту ситуацию и форматировать жесткий диск будете Вы сами, а в SAS Вам всегда окажут техническую помощь в любое время суток SAS Institute.

6) SAS имеет несколько корявый синтаксис, но это дело привычки - за 30 лет пользования Вы этого не заметите.

7) Вы в курсе про стоимость SAS?

Не сочтите за рекламу SAS - сам пользуюсь и буду сидеть на R

"Дед Мороз существует!" ТМ

[TheThing]

"Дед Мороз существует!" ТМ

Вы не согласны с моими аргументами? Если нет, объясните, пжста, почему

А вообще, в русскоязычном комьюнити подобные темы размножаются на многие страницы - это такие же холивары, как какой язык лучше С++ или C#? И пока наши умельцы будут спорить, что лучше R или SAS, профи на западе выучат R+SAS+mysql+немного Perl'a + разбавят Python - это стандартная солянка data scientist за бугром. А если человеку этого всего не нужно в ежедневной работе, то достаточно будет и Экселя.

[p2004r]

Вы не согласны с моими аргументами? Если нет, объясните, пжста, почему

А вообще, в русскоязычном комьюнити подобные темы размножаются на многие страницы - это такие же холивары, как какой язык лучше С++ или C#? И пока наши умельцы будут спорить, что лучше R или SAS, профи на западе выучат R+SAS+mysql+немного Perl'a + разбавят Python - это стандартная солянка data scientist за бугром. А если человеку этого всего не нужно в ежедневной работе, то достаточно будет и Экселя.

0. Имея в руках фактически Схему вспоминать о Питоне и прочих перлах просто неприлично (а регексы и так доступны в самом R) Потребность в любой базе данных тоже сильно преувеличенна ввиду наличия куда более эффективных возможностей самого R (plyr, reshape & company), скорее понадобится использование mapreduce, чем окаменелого SQL

1. "S is one of several statistical computing languages that were designed at Bell Laboratories, and first took form between 1975?1976." © Ну а потыренные возможности из APL представляют собой вообще первые диалоговые многопользовательские системы анализа данных.

2. Что касается размера обрабатываемых данных. а) В R есть возможность не только отправить на обработку данные _любого_ размера, но и дождаться результата данной обработки --- это реализация SPMD. б) вариант "просто запустить на обработку" тоже доступен -- ff: memory-efficient storage of large data on disk and fast access functions и куча аналогов (в этом случае даже синтаксис несколько усложниться, хотя SAS догнать не удастся )

3. Что касается вообще идеи проприетарного неизвестного полностью в подробностях своей реализации алгоритма анализа в научной работе... Ну у меня нет слов круче только делать ссылки на учебники

4. Я _очень_ быстро читаю, но дочитать всю литературу о использовании R я просто физически не в состоянии

[TheThing]

0. Имея в руках фактически Схему вспоминать о Питоне и прочих перлах просто неприлично (а регексы и так доступны в самом R) Потребность в любой базе данных тоже сильно преувеличенна ввиду наличия куда более эффективных возможностей самого R (plyr, reshape & company), скорее понадобится использование mapreduce, чем окаменелого SQL

1. "S is one of several statistical computing languages that were designed at Bell Laboratories, and first took form between 1975?1976." © Ну а потыренные возможности из APL представляют собой вообще первые диалоговые многопользовательские системы анализа данных.

2. Что касается размера обрабатываемых данных. а) В R есть возможность не только отправить на обработку данные _любого_ размера, но и дождаться результата данной обработки --- это реализация SPMD. б) вариант "просто запустить на обработку" тоже доступен -- ff: memory-efficient storage of large data on disk and fast access functions и куча аналогов (в этом случае даже синтаксис несколько усложниться, хотя SAS догнать не удастся )

3. Что касается вообще идеи проприетарного неизвестного полностью в подробностях своей реализации алгоритма анализа в научной работе... Ну у меня нет слов круче только делать ссылки на учебники

4. Я _очень_ быстро читаю, но дочитать всю литературу о использовании R я просто физически не в состоянии

0. Питон + Pandas могут обрабатывать огромные массивы данных значительно быстрее и эффективнее чем R, грустно, но факт. Я привел эту солянку не из своих собственных размышлений, а после просмотра многих требований по вакансии data scientist на западе. Вы можете (и я могу) использовать только R в своей работе, этого никто не запрещает, но этого недостаточно, чтобы получить data analytics например в google, а я все таки всегда ориентировался на западные тенденции, поскольку они лет на 200 впереди наших. К тому же на западе, Вы найдете намного быстрее и более оплачиваемую работу, если Вы знаете SAS, а не R (грустно, но тоже факт). Нужна кому-то эта вакансия или не нужна - это след. вопрос, может у нас (или у Вас) в стране data scientis и так жируют..

1. R и S - это ведь не на 100% одно и тоже (хотя даже S вышел позже SAS). В своем 1 пункте я писал, что огромные институты использовали SAS и написали кучу кода, которую не будут переводить на R. Разве это не объясняет, почему люди не будут переходить на R? Вы пишите про S, но это ведь не объясняет почему люди используют SAS

2. Я также написал, что есть обходные пути обработки - можно дождаться (а можно и не дождаться) - но это все доп. пакеты, доп. функции, в SAS это работает по-умолчанию, просто разные модели хранения данных.

3. Иногда, наверное, лучше выбрать неизвестный проприетарный алгоритм от SAS, который был апробирован в течении 30 лет, чем известный open source от дяди Васи (Вы же согласны с тем, что среди 5000 пакетов есть и пакеты от Васей? )

4. Всю и не нужно, я говорю о тенденциях, в общем, литература по SAS более качественная. Возьмите рандомную выборку того и другого и проведите анализ - это уже сделали люди (не из SAS) и пришли к выводу, что документация лучше в SAS. По своим собственным наблюдениям я тоже так считаю.

Я уважаю Вашу любовь к R (сам его очень люблю ), но Вы подаете информацию так, как-будто в R нет недостатков и это единственное, что нужно знать data scientist. Это ведь не так..

Сообщение отредактировал TheThing - 28.03.2014 - 12:21

[p2004r]

0. Питон + Pandas могут обрабатывать огромные массивы данных значительно быстрее и эффективнее чем R, грустно, но факт. Я привел эту солянку не из своих собственных размышлений, а после просмотра многих требований по вакансии data scientist на западе. Вы можете (и я могу) использовать только R в своей работе, этого никто не запрещает, но этого недостаточно, чтобы получить data analytics например в google, а я все таки всегда ориентировался на западные тенденции, поскольку они лет на 200 впереди наших. К тому же на западе, Вы найдете намного быстрее и более оплачиваемую работу, если Вы знаете SAS, а не R (грустно, но тоже факт). Нужна кому-то эта вакансия или не нужна - это след. вопрос, может у нас (или у Вас) в стране data scientis и так жируют..

1. R и S - это ведь не на 100% одно и тоже (хотя даже S вышел позже SAS). В своем 1 пункте я писал, что огромные институты использовали SAS и написали кучу кода, которую не будут переводить на R. Разве это не объясняет, почему люди не будут переходить на R? Вы пишите про S, но это ведь не объясняет почему люди используют SAS

2. Я также написал, что есть обходные пути обработки - можно дождаться (а можно и не дождаться) - но это все доп. пакеты, доп. функции, в SAS это работает по-умолчанию, просто разные модели хранения данных.

3. Иногда, наверное, лучше выбрать неизвестный проприетарный алгоритм от SAS, который был апробирован в течении 30 лет, чем известный open source от дяди Васи (Вы же согласны с тем, что среди 5000 пакетов есть и пакеты от Васей? )

4. Всю и не нужно, я говорю о тенденциях, в общем, литература по SAS более качественная. Возьмите рандомную выборку того и другого и проведите анализ - это уже сделали люди (не из SAS) и пришли к выводу, что документация лучше в SAS. По своим собственным наблюдениям я тоже так считаю.

Я уважаю Вашу любовь к R (сам его очень люблю ), но Вы подаете информацию так, как-будто в R нет недостатков и это единственное, что нужно знать data scientist. Это ведь не так..

0. Никакой пандас считать быстрее лежащей в его основе библиотеки lapack не в состоянии даже теоретически Безусловно есть хитрые схемы потоковых вычислений с очень хитрыми рекурсивными алгоритмами позволяющими полностью задействовать возможности кеширования данных современными процессорами и добится пиковой производительности процессора. Но это никакого отношения к питону не имеет, весь такой код низкоуровневый, и его гораздо вероятнее написать как вставку сишного кода в R

Также могу заметить что питон и рядом не стоял с производительностью вот этого --- http://r-statistics.livejournal.com/41800.html Вы к сожалению не прочитали ничего из моего предыдущего поста. Этим я считаю что тема "может ли R обрабатывать большие данные и делать это быстро" закрыта

Но чаще всего все упирается в забавные "техники программирования" которые большинство с неимоверным упорством использует, хотя достаточно прочитать "Введение в R" и начать жить нормальной хм... жизнью Вот наиболее спектакулярный и свежий пример http://stackoverflow.com/questions/2908822...-operation-in-r

1. SAS 1970го и SAS 2014 это тоже далеко "не одно и тоже", но вот сессия анализа в APL системе и сессия анализа в R практически неотличима http://flibusta.net/b/156597 Прочитайте этюд с анализом "тормозного пути автомобиля"

2. Ничего не понял, "R весь состоит из пакетов, а SAS монолитный кусок" .... лучшечемгрузиныТМ? Ну покупайте у Революшен готовое решение на базе R где всё встроено. Все равно на порядок дешевле SAS будет. Или купите за те же деньги нормального программиста, и он Вам напишет макросы расширяющие синтаксис R для прозрачной работы именно так как Вам хочется. (хотя таких расширений, декларативно описывающих практически любой анализ, уже просто тонны существует).

3. Это уж простите никогда не будет правдой.

4. Какие могут быть "тенденции", если пользователь не в состоянии успеть прочитать имеющийся пул литературы? Просто потому что её становится больше пока он читает то что есть ? Литература по R это не сборник рецептов, это советы как грамотно "говорить на R". Научившись говорить человек использует язык для того чтобы описать все свои действия по анализу данных. Причем именно "описать" в отличии от императивных языков. И именно "говорить" поскольку R так же выразителен в своей предметной области. Любой алгоритм сводится в паре строк (смотрите пример выше с циклами).


По поводу "любви к R" вот мой ответ ---
http://molbiol.ru/forums/index.php?showtop...t&p=1468917

Сообщение отредактировал p2004r - 29.03.2014 - 10:50