Участник:Артем Карпухин/Алгоритм CLOPE кластеризации категориальных данных: различия между версиями
Нет описания правки |
Нет описания правки |
||
| Строка 13: | Строка 13: | ||
=== Общее описание алгоритма === | === Общее описание алгоритма === | ||
Алгоритм '''CLOPE (Clustering with sLOPE)''' - неиерархический итеративный метод кластерного анализа, предназначенный для обработки больших наборов категориальных данных. Алгоритм был предложен группой исследователей из Шанхайского университета (Yiling Yang, Xudong Guan, Jinyuan You) в статье "CLOPE: A Fast and Effective Clustering Algorithm for Transactional Data" <ref> Y.Yang, X.Guan J.You. CLOPE: A Fast and Effective Clustering Algorithm for Transactional Data</ref> на конференции [http://www.kdd.org SIGKDD (Special Interest Group on Knowledge Discovery and Data Mining)] в 2002 году. | Алгоритм '''CLOPE (Clustering with sLOPE)''' - неиерархический итеративный метод кластерного анализа, предназначенный для обработки больших наборов категориальных данных. Алгоритм был предложен группой исследователей из Шанхайского университета (Yiling Yang, Xudong Guan, Jinyuan You) в статье "''CLOPE: A Fast and Effective Clustering Algorithm for Transactional Data''" <ref> Y.Yang, X.Guan J.You. CLOPE: A Fast and Effective Clustering Algorithm for Transactional Data</ref> на конференции [http://www.kdd.org SIGKDD (Special Interest Group on Knowledge Discovery and Data Mining)] в 2002 году. | ||
Основной идеей данного метода является использование глобального критерия оптимизации на основе максимизации градиента | Основной идеей данного метода является использование глобального критерия оптимизации на основе максимизации градиента | ||
Версия от 21:09, 15 октября 2016
| Алгоритм CLOPE | |
| Последовательный алгоритм | |
| Последовательная сложность | [math]\displaystyle{ O(N*K*A) }[/math] |
| Объём входных данных | [math]\displaystyle{ N*A }[/math] |
| Объём выходных данных | [math]\displaystyle{ 2N }[/math] |
| Параллельный алгоритм | |
| Высота ярусно-параллельной формы | [math]\displaystyle{ O( \log (N*K*A)) }[/math] |
| Ширина ярусно-параллельной формы | [math]\displaystyle{ O(N*K*A) }[/math] |
Основные авторы описания: А.В.Карпухин, А.А.Желтков
Свойства и структура алгоритма
Общее описание алгоритма
Алгоритм CLOPE (Clustering with sLOPE) - неиерархический итеративный метод кластерного анализа, предназначенный для обработки больших наборов категориальных данных. Алгоритм был предложен группой исследователей из Шанхайского университета (Yiling Yang, Xudong Guan, Jinyuan You) в статье "CLOPE: A Fast and Effective Clustering Algorithm for Transactional Data" [1] на конференции SIGKDD (Special Interest Group on Knowledge Discovery and Data Mining) в 2002 году.
Основной идеей данного метода является использование глобального критерия оптимизации на основе максимизации градиента высоты гистограммы кластера применительно к задачам кластеризации. Во время выполнения алгоритма в оперативной памяти требуется хранить относительно малое количество информации о каждом кластере и производится минимальное число проходов по набору данных. При использовании метода CLOPE количество кластеров подбирается автоматически и зависит от коэффициента отталкивания - параметра, задаваемого пользователем.
https://basegroup.ru/community/articles/clope http://www.fundamental-research.ru/ru/article/view?id=33381 http://www.olap.ru/home.asp?artId=155 Задачи кластеризации больших массивов категорийных данных весьма актуальна для систем анализа данных.
- ↑ Y.Yang, X.Guan J.You. CLOPE: A Fast and Effective Clustering Algorithm for Transactional Data