Как грамотно поделить выборку на несколько сегментов перед предсказанием?, Деление выборки по неизвестным критериям Опции

[smeilz]

Добрый день.
Есть очень большая выборка для бинарной классификации. Нужно предсказать 2 класса(0/1)
Есть огромная куча предикторов(независимых переменных), все они категориальные, и известно, что выборка содержит в себе несколько сегментов, в которых поведение предсказываемых классов будет существенно отличаться. Количество сегментов неизвестно.
Как грамотно найти эти сегменты и поделить выборку для дальнейшего предсказания?

Сообщение отредактировал smeilz - 7.07.2020 - 16:19

[passant]

Я кстати не собирался Вам доказывать, что разбиение необходимо, мне просто было интересно рассуждать вслух. Сейчас я пришел к выводу, что данные разбивать бесмысленно, если не знаешь почему эти сегменты могут иметь различные закономерности. В моем случае есть один вариант разбиения на 2 сегмента, но он практически пока слишком сложный в реализации, и я его отложу, и возьму все данные целиком.

Ну, я специально тут молча постоял в сторонке, пока шло обсуждение. И я рад, что суммарная рекомендация, которая выработалась в ходе дискуссии практически совпало с тем, о чем я вам говорил на другом форуме.
Держите нас в курсе своих изысканий, будет интересно.
И лучше на этом форуме. Тут вас, конечно, побъют сильнее , зато и профессиональнее, а значит - полезнее для дальнейшего научного опыта.