Кластерный анализ, реализации и эффекты Опции

[Игорь]

Не в порядке обсуждения, но если оно случится, буду рад.
При реализации классического метода k-средних были замечены интересные вычислительные эффекты. Если указать алгоритму некоторое количество кластеров, на которые будут разбиты объекты, то происходит следующее:
1. Количество [непустых] кластеров не может превысить определенное значение. Если в тестах задать, к примеру, число кластеров, равное числу объектов либо большее реально существующему, то выделено будет определенное количество кластеров. Остальные кластеры будут пустыми с нулевыми центрами.
2. Кластеризация не зависит от начального, например, случайного, разбиения. Из любой начальной конфигурации процесс итерационно сходится к тому же самому разбиению, что и из любой другой начальной конфигурации.
Предполагаем, что:
1. Метод устанавливает истинное распределение объектов по кластерам (конечно, в смысле используемой метрики).
2. Если стоит задача установления истинной конфигурации объектов, количество кластеров для данного метода можно вообще не задавать по той же причине. В результате расчета количество кластеров, объективно существующих в заданном массиве данных, будет равно количеству непустых кластеров.

Из минусов метода: придется нарисовать специфический график с облаками объектов в кластерах (на самом деле не сильно сложно).
Из плюсов: для агломеративного метода график можно вообще не рисовать.

Сообщение отредактировал Игорь - 9.03.2023 - 13:54

[ИНО]

Игорь, спасибо за полезную ссылку. Однако там предлагают использовать статистику Хопикнса-Скеллама не для проверки "правильности" конкретной кластеризации, а лишь для определения "общей предрасположенности имеющихся данных к объединению в кластеры" - то есть примерно то же самое, для ее обычно применяют, только с переносом из реального физического пространства в некое абстрактное математическое. В связи с этим совершенно непонятно, каким образом 100$ предлагает применять ее "вместо метода к - средних". Но, думается, можно пойти дальше и применять методы, созданные для анализа пространственных распределений точек (например функции Рипли, Бессага и др. - см. монографию по мое ссылке) для изучения структуры кластеров, выделенных при кластерном анализе, либо чисто визуально на ординационной диаграмме многомерного шкалирования (последнее лично мне больше нравится).

Авторы монографии утверждают, что алгоритмы взяты из исследований по распределению звезд.

Какие именно методы и какой конкретной монографии?

[Игорь]

Какие именно методы ...?

Кластерного анализа - мы ведь его в данной теме обсуждаем.

... какой конкретной монографии?

Baddeley с соавт., на которую Вы ссылку дали - мы же о ней говорили. С. 459: "Cluster processes were developed in a classic paper Neyman and Scott [499] as models for the spatial pattern of galaxies in the distant universe".

Сообщение отредактировал Игорь - 13.05.2023 - 07:47