Кластерный анализ, реализации и эффекты Опции

[Игорь]

Не в порядке обсуждения, но если оно случится, буду рад.
При реализации классического метода k-средних были замечены интересные вычислительные эффекты. Если указать алгоритму некоторое количество кластеров, на которые будут разбиты объекты, то происходит следующее:
1. Количество [непустых] кластеров не может превысить определенное значение. Если в тестах задать, к примеру, число кластеров, равное числу объектов либо большее реально существующему, то выделено будет определенное количество кластеров. Остальные кластеры будут пустыми с нулевыми центрами.
2. Кластеризация не зависит от начального, например, случайного, разбиения. Из любой начальной конфигурации процесс итерационно сходится к тому же самому разбиению, что и из любой другой начальной конфигурации.
Предполагаем, что:
1. Метод устанавливает истинное распределение объектов по кластерам (конечно, в смысле используемой метрики).
2. Если стоит задача установления истинной конфигурации объектов, количество кластеров для данного метода можно вообще не задавать по той же причине. В результате расчета количество кластеров, объективно существующих в заданном массиве данных, будет равно количеству непустых кластеров.

Из минусов метода: придется нарисовать специфический график с облаками объектов в кластерах (на самом деле не сильно сложно).
Из плюсов: для агломеративного метода график можно вообще не рисовать.

Сообщение отредактировал Игорь - 9.03.2023 - 13:54

[100$]

Даёшь вместо метода к - средних статистику Гопкинса!
Ссылка

[ИНО]

Даёшь вместо метода к - средних статистику Гопкинса!
Ссылка

Не шибко понял, какое отношение имеет статистика Хопкинса-Скеллама к кластеризации методом К-средних, хотя в целом идея проверки гипотрезы о стационарном Пуассоновском процессе как один из путей оценки реальности кластеров, полученных любым методом, выглядит интересно, хотя обычно это используют совсем для другого. вот монография, включающая вагон малую тележку методов анализа пространственного распределения точек, многие из которых, вероятно, можно оторвать оторвать от задач изучения размещения растений на поверхности земли, для которых они разрабатывались, и прикрутить к кластерному анализу иных данных. Извиняюсь за тою, что не дал ссылку на скачивание книги задаром, - не помню, где качал свой экземпляр, наверное, на Либгене. В общем, ищите по названию.

[Игорь]

... какое отношение имеет статистика Хопкинса-Скеллама к кластеризации методом К-средних

В R так делают: https://ranalytics.github.io/data-mining/10...ng-Quality.html

задач изучения размещения растений на поверхности земли, для которых они разрабатывались

Авторы монографии утверждают, что алгоритмы взяты из исследований по распределению звезд.

Сообщение отредактировал Игорь - 12.05.2023 - 14:39