Как выглядят данные для Data mining задач Опции

[med-ick]

Несмотря на то, что в медицине методы data mining не используются, у меня все равно есть интерес, как выглядят данные для машинного обучения. Просто иногда читаю некоторые статьи.
разработка алгоритмов для проекта беспилотного транспорта
построение нейронных сетей для обнаружения препятствий, классификации объектов, сегментации изображения
и не понимаю на базе каких данных машину учат беспрепятственно ездить, определять скорость, сигнал светофора.
Я просто привык, что данные в sql или эксель, по столбцам переменные, по строкам наблюдения и зависимая переменная.
Как в случае беспилотного транспорта выглядят данные для классификации или сегментации.
Имеется ли где-то на просторах интернета пример как выглядят исходные данные для нейросетей в таких задач для R

Или как выглядят исходные данные для классификации изображений. Ведь должны быть какие - то данные и зависимая переменная - картинка. Например, недавно читал пост о том, что нейросеть научили распознавать древние манускрипты, или распознавание лиц, даже если они загримированы. Как выглядели исходные данные для этого. А как выглядят данные для обучения распознания видеоизображений. В каком они были формате. В экселе или sql?
Вопросы чисто теоретические

[leo_biostat]

med-ick,

Несмотря на то, что в медицине методы data mining не используются...

Это мнение ошибочно. Цитирую с адреса https://ru.wikipedia.org/wiki/Data_mining фрагмент объяснения этого обобщения многих методов: "К методам data mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей)". Значит в медицине эти методы как раз используются. Причём самыми продуктивными являются многомерные методы анализа. Поскольку в этих методах стараются учитывать большое количество разной полезной информации.

...и не понимаю на базе каких данных машину учат беспрепятственно ездить, определять скорость, сигнал светофора.

Используя перечисленные выше методы стат. анализа, машину не учат, а обучается сам исследователь получению более продуктивных результатов. Для чего при реализации отдельных методов стат. анализа, чаще всего используются разные варианты алгоритмов. И это обучает самого исследователя выбору лучшего алгоритма. Например сегодня, при разработке Программы работ по анализу БД заказчика из ФРГ, я полдня использовал более 20 вариантов разных алгоритмов двух основных многомерных методов. И сравнивая основные результаты анализа, выбрал лишь 3 самых полезных варианта.

...все равно есть интерес, как выглядят данные для машинного обучения...

В практике можно (и нужно!) использовать в собственных исследованиях лишь те данные (Базы Данных), которые доступны для сбора и накопления. Тогда как не всегда можно реализовать желаемые БД. Особенно в отечественной медицине. Поскольку в практической медицине большая часть БД формируется не в специальных электронных таблицах, например, в пакете EXCEL, а либо на бумажных описаниях, либо на электронных файлах, но в виде текстов, а не в специальных, единых таблицах. Вывод: данные для собственного обучения нужно формировать не в виде текстов, а в виде специальных, единых таблиц, которые и можно далее анализировать в разных видах стат. анализа.

Желаю успешного обучения!