Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Как выглядят данные для Data mining задач
med-ick
сообщение 16.02.2018 - 17:09
Сообщение #1





Группа: Пользователи
Сообщений: 12
Регистрация: 15.10.2017
Пользователь №: 30359



Несмотря на то, что в медицине методы data mining не используются, у меня все равно есть интерес, как выглядят данные для машинного обучения. Просто иногда читаю некоторые статьи.
разработка алгоритмов для проекта беспилотного транспорта
построение нейронных сетей для обнаружения препятствий, классификации объектов, сегментации изображения
и не понимаю на базе каких данных машину учат беспрепятственно ездить, определять скорость, сигнал светофора.
Я просто привык, что данные в sql или эксель, по столбцам переменные, по строкам наблюдения и зависимая переменная.
Как в случае беспилотного транспорта выглядят данные для классификации или сегментации.
Имеется ли где-то на просторах интернета пример как выглядят исходные данные для нейросетей в таких задач для R

Или как выглядят исходные данные для классификации изображений. Ведь должны быть какие - то данные и зависимая переменная - картинка. Например, недавно читал пост о том, что нейросеть научили распознавать древние манускрипты, или распознавание лиц, даже если они загримированы. Как выглядели исходные данные для этого. А как выглядят данные для обучения распознания видеоизображений. В каком они были формате. В экселе или sql?
Вопросы чисто теоретические

Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
leo_biostat
сообщение 16.02.2018 - 18:18
Сообщение #2





Группа: Пользователи
Сообщений: 105
Регистрация: 23.11.2016
Пользователь №: 28953



med-ick, hi.gif

Цитата(med-ick @ 16.02.2018 - 17:09) *
Несмотря на то, что в медицине методы data mining не используются...


Это мнение ошибочно. Цитирую с адреса https://ru.wikipedia.org/wiki/Data_mining фрагмент объяснения этого обобщения многих методов: "К методам data mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей)". Значит в медицине эти методы как раз используются. Причём самыми продуктивными являются многомерные методы анализа. Поскольку в этих методах стараются учитывать большое количество разной полезной информации.

Цитата(med-ick @ 16.02.2018 - 17:09) *
...и не понимаю на базе каких данных машину учат беспрепятственно ездить, определять скорость, сигнал светофора.

Используя перечисленные выше методы стат. анализа, машину не учат, а обучается сам исследователь получению более продуктивных результатов. Для чего при реализации отдельных методов стат. анализа, чаще всего используются разные варианты алгоритмов. И это обучает самого исследователя выбору лучшего алгоритма. Например сегодня, при разработке Программы работ по анализу БД заказчика из ФРГ, я полдня использовал более 20 вариантов разных алгоритмов двух основных многомерных методов. И сравнивая основные результаты анализа, выбрал лишь 3 самых полезных варианта.

Цитата(med-ick @ 16.02.2018 - 17:09) *
...все равно есть интерес, как выглядят данные для машинного обучения...

В практике можно (и нужно!) использовать в собственных исследованиях лишь те данные (Базы Данных), которые доступны для сбора и накопления. Тогда как не всегда можно реализовать желаемые БД. Особенно в отечественной медицине. Поскольку в практической медицине большая часть БД формируется не в специальных электронных таблицах, например, в пакете EXCEL, а либо на бумажных описаниях, либо на электронных файлах, но в виде текстов, а не в специальных, единых таблицах. Вывод: данные для собственного обучения нужно формировать не в виде текстов, а в виде специальных, единых таблиц, которые и можно далее анализировать в разных видах стат. анализа.

Желаю успешного обучения!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
passant
сообщение 16.02.2018 - 21:00
Сообщение #3





Группа: Пользователи
Сообщений: 231
Регистрация: 27.04.2016
Пользователь №: 28223



Цитата(med-ick @ 16.02.2018 - 17:09) *
Несмотря на то, что в медицине методы data mining не используются,


Очень сильно надеюсь, что Вы просто прикалываетесь.
Верю, что любой мало-мальский специалист (и в медицине в том числе) понимает, где, как и для чего в его области знаний могут и -главное(!!!!) --- уже применяют методы анализа данных, ИИ, нейронные сети и пр.
Иначе - можно остаться без работы wink.gif :
Вот, уже началось : http://ai-news.ru/2017/11/kitajskij_ii_pol...ziu_vracha.html
http://ai-news.ru/2017/12/iskusstvennyj_in...chej_trend.html

Ну, а если серьезно, и Вы почему-то проспали, что делается в этом направлении в мире - то кратенькая подборка с лёту, так сказать для входа в тему:
https://towardsdatascience.com/deep-learnin...is-c04d35fc2830
https://habrahabr.ru/company/mailru/blog/325908/
https://www.kdnuggets.com/2017/04/medical-i...ing-part-2.html
https://www.cio.com/article/3235445/healthc...healthcare.html
https://stanfordmlgroup.github.io/projects/ecg/
https://tensorflow.rstudio.com/blog/dl-for-...unotherapy.html
https://nplus1.ru/material/2017/01/20/smart-medicine
https://nplus1.ru/news/2018/02/08/apple-watch-diabetes
Совсем свеженькое
https://geektimes.ru/post/298187/
и классика жанра
https://www.ibm.com/watson/health/
и так далее.........

А вообще-то, наверное Вы правы. Постоянно сталкиваюсь с тем, что уровень даже не столько знаний наших врачей, но уровень их желания даже разобраться в этом вопросе, просто почитать что и как - как-бы это сказать помягче, что-бы никого не обидеть - примерно никакой. Приходишь, предлагаешь, говоришь - давайте попробуем, давайте сделаем хоть малюсенький шаг -- а в ответ тишина (в лучшем случае) или полуагрессивное отторжение. А жаль. sad.gif Я все понимаю, вам людей каждый день лечить, с того света часто вытягивать, Я восхищаюсь и преклоняюсь за это перед медиками. Понимаю, что вам часто не до траты времени на всякие заумные новшества. Но.... Грустно.

Сообщение отредактировал passant - 16.02.2018 - 21:36
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 16.02.2018 - 22:17
Сообщение #4





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Цитата(med-ick @ 16.02.2018 - 19:09) *
... Как в случае беспилотного транспорта выглядят данные для классификации или сегментации...

Беспилотный транспорт беспрепятственно везёт пациентов в психоневрологическое отделение для классификации: майнили data! на феRмах!
Интересно: в строках - объекты, в столбцах - атрибуты, а где же зависимая переменная?
И которая из них выглядит как картинка, а которая как беспилотный транспорт?
Все загримированы и улыбаются: сегментация уже началась... Но почему-то один всегда плачет - распознан?
К сожелению опять excel! А ведь я так хотел поделиться радостью, что тоже, тоже "иногда читаю некоторые статьи"!!!
Но leo_biostat меня опередил... Они нашлись! Сэта гудьба (с) И полный фейерверк (с)

Сообщение отредактировал nokh - 16.02.2018 - 23:23
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему