Участник:LKruglov/Алгоритм устойчивой кластеризации с использованием связей
| Файл:Symbol wait.svg | Эта работа ждет рассмотрения преподавателем Дата последней правки страницы: 24.10.2016 Авторы этой статьи считают, что задание выполнено. |
| Алгоритм устойчивой кластеризации с использованием связей | |
| Последовательный алгоритм | |
| Последовательная сложность | [math]\displaystyle{ O(n^{2,37} + n^2\log n) }[/math], если для вычисления количества связей используется алгоритм Копперсмита—Винограда |
| Объём входных данных | Вектор из [math]\displaystyle{ n }[/math] точек в виде векторов характеристик произвольного вида, дополнительно одно вещественное и одно челое число [math]\displaystyle{ k }[/math] |
| Объём выходных данных | Сгруппированные в [math]\displaystyle{ k }[/math] кластеров [math]\displaystyle{ n }[/math] классифицируемых точек представленных индексами во входном векторе |
Авторы: Круглов Л. В.(1.1,1.2,1.3,1.6,1.8,1.10), Баранов М. С.(1.1,1.2,1.3,1.4,1.5,1.7,1.9,2.7)
Общее описание алгоритма
Свойства и структура алгоритма
В связи с наличием огромного количества накопленной информации задача добычи данных становится все более важной. Кластеризация позволяет распределять данные по группам (кластерам) так, что в каждой группе данные обладают схожими характеристиками, а в разных группах характеристики различаются.
Алгоритм устойчивой кластеризации с использованием связей (robust clustering using links, ROCK [1]) построен на основе понятий связей между кластеризуемыми точками и их соседства. Две точки считаются соседями, если являются достаточно близким (схожими): [math]\displaystyle{ sim({p_i}, {p_j}) \gt = \theta }[/math], где [math]\displaystyle{ \theta }[/math] - заданное пороговое значение в интервале [math]\displaystyle{ (0, 1) }[/math]. Связь [math]\displaystyle{ link({p_i}, {p_j}) }[/math] между двумя точками определяется как число общих соседей между точками [math]\displaystyle{ {p_i} }[/math] и [math]\displaystyle{ {p_j} }[/math]. Таким образом, чем большее значение функции связи для двух точек, тем более вероятно они принадлежат одному кластеру.
В отличие от алгоритмов кластеризации, учитывающих только локальные характеристики точек, данный алгоритм учитывает глобальную информацию о соседстве при принятии решений о выделении кластеров, что делает его очень устойчивым [1].
ROCK принадлежит к классу иерархических алгоритмов кластеризации. На первом этапе работы алгоритма происходит определение соседей для каждой точки и подсчет количества связей для каждой пары точек. Изначально каждая точка рассматривается в качестве отдельного кластера и для каждого такого кластера рассчитываются значения функции качества,которые используются при последующем слиянии кластеров. Далее в ходе итерационного процесса на каждом шаге выбираются и объединяются два кластера и пересчитываются количество связей и функции качества для нового кластера. По достижении требуемого числа кластеров работа алгоритма завершается.
Математическое описание алгоритма
Задача кластеризации сводится к выделению такого разбиения точек на кластеры, которое максимизирует сумму связей точек принадлежащих одному кластеру, и минимизирует эту функцию для точек из разных кластеров. Таким образом, для разбияния на [math]\displaystyle{ k }[/math] кластеров необходима максимизация следующей функции.
[math]\displaystyle{ E_l = \sum_{i=1}^k n_i * \sum_{p_q, p_r \in C_i} \frac{link(p_q, p_r)}{n_i^{1+2f(\theta)}} \qquad(1) }[/math]
Данная функция отличается от простой суммы связей для каждого кластера, так как не обеспечивает распределение точек, имеющих мало связей между собой, по разным кластерам. Поэтому действительную сумму связей в кластере следует разделить на ожидаемую сумму связей. Функция [math]\displaystyle{ f(\theta) }[/math] задается пользователем исходя из свойств обрабатываемых данных и ожидаемого характера кластеризации. Она должна обладать следующим свойством: каждая точка, принадлежащая кластеру [math]\displaystyle{ C_i }[/math], имеет приблизительно [math]\displaystyle{ n_i^{f(\theta)} }[/math] соседей в этом кластере.
Связь между двумя кластерами определяется как
[math]\displaystyle{ link({C_i}, {C_j}) = \sum^{}_{{p_q}\in{C_i}, {p_r}\in{C_j}}{link[{C_i}, {C_j}]} }[/math]
Тогда для выбора кластеров для объединения определяется целевая функция качества:
[math]\displaystyle{ g(C_i, C_j) = \frac{link[C_i, C_j]}{(n_i+n_j)^{1+2f(\theta)} - f_i^{1+2f(\theta)} - f_j^{1+2f(\theta)}} }[/math]
Аналогично целевой функции (1) значение связи между двумя кластерами делится на ожидаемое число связей между кластерами.
Вычислительное ядро алгоритма
Вычислительное ядро алгоритма состоит из двух частей:
- Подсчет количества связей между точками;
- Итеративное объединение кластеров.
Один из возможных подходов к подсчету количества связей основывается на матрице смежности точек: достаточно умножить матрицу смежности на себя, и тогда каждая клетка полученной матрицы будет содержать число связей соответствующей точки.
Итеративная часть алгоритма может быть реализована с помощью структуры данных куча. На каждой итерации с каждым кластером [math]\displaystyle{ i }[/math] связана своя куча [math]\displaystyle{ q[i] }[/math], содержащая все связанный с ним кластеры, упорядоченная по убыванию функции качества. Также поддерживается глобальная куча [math]\displaystyle{ Q }[/math], содержащая все кластеры [math]\displaystyle{ j }[/math], упорядоченные по мере убывания функции качества [math]\displaystyle{ g(j, max(q[j])) }[/math], где [math]\displaystyle{ max(q[j]) }[/math] - это вершина кучи [math]\displaystyle{ q[j] }[/math]. Тогда на каждой итерации объединяются кластер [math]\displaystyle{ j }[/math] с вершины глобальной кучи и кластер [math]\displaystyle{ q[j] }[/math]. После объединения необходимо обновить все кучи, содержащие объединенные кластеры, обновить глобальную кучу [math]\displaystyle{ Q }[/math] и создать кучу для нового кластера. Итеративный процесс продолжается до тех пор, пока в глобальной куче [math]\displaystyle{ Q }[/math] не останется требуемое число кластеров.
Макроструктура алгоритма
Как было описано выше, основную часть каждой итерации алгоритма составляет обновление куч, содержащих сливаемые кластеры.
Схема реализации последовательного алгоритма
Следующая схема последовательного алгоритма представлена в работе [1] (псевдокод):
procedure cluster(S, k)
begin
link := compute_links(S)
for s in S do
begin
q[s] := build_local_heap(link, s)
end
Q := build_global_heap(S, q)
while size(Q) > k do
begin
u := extract_max(Q)
v := max(q[u])
delete(Q, v)
w := merge(u, v)
for each x in q[u] or q[v] do
begin
link[x, w] := link[x, u] + link[x, v]
delete(q[x], u)
delete(q[x], v)
insert(q[x], w, g(x, w))
insert(q[w], x, g(x, w))
update(Q, x, q[x])
end
insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
Последовательная сложность алгоритма
Для вычисления количества связей с помощью возведения матрицы в квадрат можно воспользоваться алгоритмом Копперсмита—Винограда [2], вычислительная сложность которого равна [math]\displaystyle{ O(n^{2,37}) }[/math] ([math]\displaystyle{ n }[/math] - количество кластеризуемых точек). Для случаев разреженной матрицы смежности в работе [1] описывается алгоритм, имеющий сложность [math]\displaystyle{ O(n^2 + n{m_m}{m_a}) }[/math], где [math]\displaystyle{ {m_a} }[/math] и [math]\displaystyle{ {m_m} }[/math] - это среднее и максимальное количество соседей точки соответственно.
Каждая куча может быть построена за время [math]\displaystyle{ O(n) }[/math] [3]. Внешний цикл итерационной части алгоритма исполняется [math]\displaystyle{ O(n) }[/math] раз. Так как на очередной итерации размер каждой локальной кучи в худшем случае может равняться [math]\displaystyle{ n }[/math], то новый кластер должен быть помещен в [math]\displaystyle{ n }[/math] локальных куч, что дает временную сложность вложенного цикла [math]\displaystyle{ O(n\log{n}) }[/math]. Таким образом, сложность внешнего цикла в худшем случае будет [math]\displaystyle{ O(n^2\log{n}) }[/math].
Итак, оценка времени выполнения алгоритма [math]\displaystyle{ C_t }[/math] задается следующей формулой:
[math]\displaystyle{ C_t = O(n^{2,37} + n^2\log{n}) }[/math]
Пространственную сложность подсчета количества связей можно оценить как [math]\displaystyle{ O(min(n^2, n{m_m}{m_a})) }[/math]. Так как при слиянии двух кластеров размер новой кучи не превосходит суммы размеров куч объединяемых кластеров, то пространственная сложность итерационной части алгоритма зависит только от размеров исходных куч и задается формулой:
[math]\displaystyle{ C_s = O(min(n^2, n{m_m}{m_a})) }[/math].
Информационный граф
На рисунке представлен информационный граф алгоритма. Используются следующие обозначения:
- I - входные данные
- M - вычисление матрицы связей
- Qs - вычисление локальных кучи
- QG - создание глобальной кучи
- HG - взятие элемента/элементов из кучи
- HD - удаление элемента из кучи
- HI - добавление элемента в кучу
- HU - обновление кучи
- HX - удаление куч
- CM - слияние кластеров
- A - арифметические операции
Ресурс параллелизма алгоритма
В описанном последовательном алгоритме основной ресурс параллелизма заключается в возможности параллельного вычисления количества связей (например, используя алгоритм параллельного вычисления произведения матриц), создания очередей, и параллельной обработки локальных очередей во внутреннем цикле итерационного этапа алгоритма. В таком случае при распараллеливании алгоритма на [math]\displaystyle{ p }[/math] вычислительных узлов верна следующая оценка времени работы алгоритма:
[math]\displaystyle{ C_{t_p} = {C_{L_p}} + O(\frac{n^2\log n}{p}) }[/math],
где [math]\displaystyle{ {C_{L_p}} }[/math] - оцентка времени работы выбранного параллельного алгоритма подсчета числа связей.
Входные и выходные данные алгоритма
Входные данные:
1. Множество [math]\displaystyle{ n }[/math] точек, которые необходимо кластеризовать 2. Пороговое значение [math]\displaystyle{ \theta }[/math] из интервала [math]\displaystyle{ (0, 1) }[/math] 3. Требуемое число кластеров [math]\displaystyle{ k }[/math]
Также к входным данным относится информация о характеристиках точек (например в виде таблицы булевых значений принадлежности характеристик точкам).
Выходные данные:
1. [math]\displaystyle{ n }[/math] точек, распределенных по [math]\displaystyle{ k }[/math] кластерам
Свойства алгоритма
Рассматриваемый алгоритм является детерминированным.
Его вычислительная мощность равна
[math]\displaystyle{ \frac{O(n^{2,37} + n^2\log n)}{2n+2} }[/math],
отношение последовательной и параллельной сложности:
[math]\displaystyle{ \frac{O(n^{2,37} + n^2\log n)}{{C_{L_p}} + O(\frac{n^2\log n}{p})} }[/math],
где [math]\displaystyle{ C_{L_p} }[/math] - сложность параллельного алгоритма подсчета числа связей (оценки приведены для использования алгоритма Копперсмита—Винограда для вычисления количества связей).
Одним из важных вопросов, влияющих на эффективность алгоритма, является выбор исходных точек. Подход к выбору размера исходного набора точек, достаточного для качественной кластеризации, описывается в работе [4]. Использование случайной стратегии выбора исходных точек помогает алгоритму кластеризации отбрасыванием выпадающих точек (то есть точек, слабо связанных с другими точками). Различные алгоритмы случайного выбора исходных точек рассматриваются в работе [5].
Обработка выпадающих точек в рассматриваемом алгоритме обеспечивается выбором порогового значения [math]\displaystyle{ \theta }[/math]. Также такие точки могут быть принудительно отброшены на последних итерациях алгоритма.
После завершения кластеризации выбранных исходных точек, оставшиеся точки распределяются по кластерам следующим образом. Из каждого кластера выбирается набор точек [math]\displaystyle{ {L_i} }[/math], и очередная точка [math]\displaystyle{ p }[/math] помещается в кластер [math]\displaystyle{ i }[/math], если [math]\displaystyle{ p }[/math] имеет наибольшее число соседей множеством [math]\displaystyle{ {L_i} }[/math].
Программная реализация алгоритма
Особенности реализации последовательного алгоритма
Локальность данных и вычислений
Возможные способы и особенности параллельной реализации алгоритма
Масштабируемость алгоритма и его реализации
Динамические характеристики и эффективность реализации алгоритма
Выводы для классов архитектур
Существующие реализации алгоритма
- Библиотека annoviko/pyclustering включает реализации для Python и C++ под GPL 3
- Пакет CBA из репозитория CRAN содержит реализацию на R под GPL 2
- Библиотеки Weka и feed4weka содержат реализацию для Java под GPL 2
Литература
[1] Guha S., Rastogi R., Shim K. ROCK: A robust clustering algorithm for categorical attributes //Data Engineering, 1999. Proceedings., 15th International Conference on. – IEEE, 1999. – С. 512-521.
[2] Coppersmith D., Winograd S. Matrix multiplication via arithmetic progressions //Proceedings of the nineteenth annual ACM symposium on Theory of computing. – ACM, 1987. – С. 1-6.
[3] Thomas H. Cormen et al. Introduction to algorithms. – Cambridge : MIT press, 2001. – Т. 6.
[4] Guha S., Rastogi R., Shim K. Cure: an efficient clustering algorithm for large databases //Information Systems. – 2001. – Т. 26. – №. 1. – С. 35-58.
[5] Vitter J. S. Random sampling with a reservoir //ACM Transactions on Mathematical Software (TOMS). – 1985. – Т. 11. – №. 1. – С. 37-57.