Алговики - Вклад [ru]

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:52:30Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> [1].]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Задача алгоритма кластеризации по выборке строк из точки-представителей сформировать <math>h</math> кластеров, их число задано заранее. Для каждой точки считается расстояние для всех остальных. Затем сравнивается расстояние между кластерами. За определение кластеров отвечают эти же точки. Похожие кластеры объединяются и их точки тоже. На каждом шаге алгоритма точки сдвигаются к центроиде. Алгоритм выполняется, пока не будет достигнуто необходимое число кластеров.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE4.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>h</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>log_2{n}</math>. Эффективный метод описан в статье.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref> Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 log_2{n})</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

Основные шаги алгоритма информационно зависят от предыдущих шагов.

[[Файл:InfoCURE.jpg|1100px|thumb|center|Общий информационных граф алгоритма]]

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:52:16Z

JuliaA: /* Макроструктура алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> [1].]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Задача алгоритма кластеризации по выборке строк из точки-представителей сформировать <math>h</math> кластеров, их число задано заранее. Для каждой точки считается расстояние для всех остальных. Затем сравнивается расстояние между кластерами. За определение кластеров отвечают эти же точки. Похожие кластеры объединяются и их точки тоже. На каждом шаге алгоритма точки сдвигаются к центроиде. Алгоритм выполняется, пока не будет достигнуто необходимое число кластеров.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE4.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>log_2{n}</math>. Эффективный метод описан в статье.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref> Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 log_2{n})</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

Основные шаги алгоритма информационно зависят от предыдущих шагов.

[[Файл:InfoCURE.jpg|1100px|thumb|center|Общий информационных граф алгоритма]]

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:47:15Z

JuliaA: /* Макроструктура алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> [1].]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Задача алгоритма кластеризации по выборке строк из точки-представителей сформировать <math>k</math> кластеров, их число задано заранее. Для каждой точки считается расстояние для всех остальных. Затем сравнивается расстояние между кластерами. За определение кластеров отвечают эти же точки. Похожие кластеры объединяются и их точки тоже. На каждом шаге алгоритма точки сдвигаются к центроиде. Алгоритм выполняется, пока не будет достигнуто необходимое число кластеров.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE4.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>log_2{n}</math>. Эффективный метод описан в статье.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref> Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 log_2{n})</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

Основные шаги алгоритма информационно зависят от предыдущих шагов.

[[Файл:InfoCURE.jpg|1100px|thumb|center|Общий информационных граф алгоритма]]

[[Файл:KittyTest.jpg|1100px|thumb|center|Котёнок]]

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:35:47Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> [1].]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE4.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>log_2{n}</math>. Эффективный метод описан в статье.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref> Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 log_2{n})</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

Основные шаги алгоритма информационно зависят от предыдущих шагов.

[[Файл:InfoCURE.jpg|1100px|thumb|center|Общий информационных граф алгоритма]]

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:30:41Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE4.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>log_2{n}</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 log_2{n})</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.<ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

Основные шаги алгоритма информационно зависят от предыдущих шагов.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:26:12Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE4.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>log_2{n}</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 log_2{n})</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:25:46Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE4.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>log_2 n</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 log_2 n)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:25:05Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE3.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>logn</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:24:50Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE3.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>logn</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(n)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:15:54Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE2.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>logn</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2n)</math>.
Таким образом худшее время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:05:51Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE2.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Сложность этого этапа <math>O(n)</math>. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>logn</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2n)</math>. Таким образом худшее время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:04:29Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE2.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это <math>n</math> репрезентативных точек в d мерном пространстве и необходимое число <math>k</math> кластеров. Для каждой точки необходимо вычислить расстояние до другой. Если искать ближайший кластер простым перебором, то сложность поиска будет <math>O(n)</math> для каждого кластера. Но для эффективного поиска сложность составляет <math>logn</math>. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции <math>O(2n)</math>. Таким образом худшее время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-31T20:02:28Z

JuliaA: /* Последовательная сложность алгоритма */

Основные авторы описания: 
[[Участник:JuliaA|Ю.А. Антохина]], разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Ресурс параллелизма алгоритма|1.8]] - [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]] 

[[Участник:Cookie|С.А. Шатков]], разделы [[#Математическое описание алгоритма|1.2]] - [[#Схема реализации последовательного алгоритма|1.5]], [[#Информационный граф|1.7]], [[#Масштабируемость алгоритма и его реализации|2.4]] 

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math> <ref>Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84 </ref>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(a,b)</math> между точками <math>a = (a_{1},\dots,a_{n})</math> и <math>b = (b_{1},\dots,b_{n})</math> будем вычислять по формуле:

<math>\rho(a,b) = \sqrt{\sum_{i=1}^n (a_{i} - b_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>h</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Пусть <math>i</math> - текущее количество представителей, <math>S_{k}</math> - множество номеров строк матрицы <math>x</math>, входящие в <math>k</math>-й кластер, <math>R_{k}</math> - множество номеров строк матрицы <math>x</math>, назначенных представителями <math>k</math>-го кластера, а <math>x^{j}</math> - вектор-строка матрицы <math>x</math>, задающая точку в <math>n</math>-мерном пространстве.

<math>R_{k}</math> = [] % Пустое множество
a = Choose(<math>S_{k}</math>) % Выбор произвольного номера точки, входящей в кластер <math>k</math>
Add(<math>R_{k}</math>,a) % Добавление точки а во множество представителей
i = 1 % Текущее количество представителей кластера
While (i<c) do % Хотим найти с представителей для кластера
- rmax = 0
- For ( (y <math>\in</math> <math>S_{k}</math>) and (y <math>\notin</math> <math>P_{k}</math>) ) do % Поиск следующего представителя среди оставшихся точек кластера
- - rmin = <math>\rho(x^{a}</math>,<math>x^{y})</math>
- - For ( (j <math>\in</math> <math>R_{k}</math>) and (j <math>\neq</math> a) ) do % Поиск расстояния от точки с номером y до ближайшего представителя
- - - d = <math>\rho(x^{j}</math>,<math>x^{y})</math> % вычисление расстояния
- - - If (d < rmin) then
- - - - rmin = d
- - - endif
- - enddo
- - If (rmin > rmax) % Поиск точки, для которой расстояние до ближайшего представителя является максимальным
- - - rmax = rmin
- - - b = y % искомая точка
- - endif
- enddo
- Add(<math>R_{k}</math>,b) % Добавление новой точки в множество представителей
- i = i + 1 % текущее число представителей
enddo
</math>

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя <math>x^{y}</math> из <math>k</math>-го кластера выполняется сдвиг к его центроиде <math>\mu_{k}</math> в <math>\alpha</math> раз:

<math>\hat{x}^{y} = \alpha\mu_{k} + (1-\alpha)x^{y}</math>.

Получаем множество <math>\hat{R}_{k}</math> из <math>c</math> точек, которые будут далее использоваться как представители этого кластера.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:SubCURE2.jpg|1100px|thumb|center|Схема работы алгоритма кластеризации CURE]]

== Последовательная сложность алгоритма ==

'''п. 1.6 приведенные оценки сложности не обоснованы'''

Входные данные для кластеризации - это n репрезентативных точек в d мерном пространстве и необходимое число k кластеров. Для каждой точки необходимо вычислить расстояние до другой. Если искать ближайший кластер простым перебором, то сложность поиска будет O(n) для каждого кластера. Но для эффективного поиска сложность составляет logn. Далее каждую точку необходимо вдвинуть к центроиде, сложность этой операции O(2n). Таким образом худшее время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''п. 1.7 приведен рисунок чего-то, отдаленно напоминающее информационный граф, для одного из шагов алгоритма, информационного графа для алгоритма в целом не приведено
'''

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>h</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике <ref>Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP</ref>. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

<references \>

Участник:Лукьянова Анна/Алгоритм кластеризации с использованием представлений2

2016-10-15T21:02:15Z

JuliaA: /* Существующие реализации алгоритма */

{{Assignment}}

Основные авторы описания: А.Я. Лукьянова

= ЧАСТЬ. Свойства и структура алгоритмa =
== Общее описание алгоритма ==

===Понятие кластеризации===

Кластеризация (или кластерный анализ) — это задача разбиения множества объектов на группы, называемые кластерами. Внутри каждой группы должны оказаться «похожие» объекты, а объекты разных группы должны быть как можно более отличны. Главное отличие кластеризации от классификации состоит в том, что перечень групп четко не задан и определяется в процессе работы алгоритма.

Применение кластерного анализа в общем виде сводится к следующим этапам:

#Отбор выборки объектов для кластеризации.
#Определение множества переменных, по которым будут оцениваться объекты в выборке. При необходимости – нормализация значений переменных.
#Вычисление значений меры сходства между объектами.
#Применение метода кластерного анализа для создания групп сходных объектов (кластеров).
#Представление результатов анализа.

Классификация алгоритмов

'''Методы по способу обработки данных:'''

''Иерархические методы:''
*Агломеративные методы AGNES (Agglomerative Nesting):
*Дивизимные методы DIANA (Divisive Analysis):

''Неиерархические методы.''
*Итеративные

'''Методы по способу анализа данных:'''

*Четкие;

*Нечеткие.

'''Методы по количеству применений алгоритмов кластеризации:'''

*С одноэтапной кластеризацией;

*С многоэтапной кластеризацией.

'''Методы по возможности расширения объема обрабатываемых данных:'''

*Масштабируемые;

*Немасштабируемые

'''Методы по времени выполнения кластеризации:'''

*Потоковые (on-line);

*Не потоковые (off-line).

===CURE===

Алгоритм '''CURE (Clustering Using REpresentatives)''' выполняет иерархическую кластеризацию с использованием набора определяющих точек для определения объекта в кластер. Относится к алгомеративным методам.

Эта группа методов характеризуется последовательным объединением исходных элементов и соответствующим уменьшением числа кластеров.

Назначение: кластеризация очень больших наборов числовых данных.

Ограничения: эффективен для данных низкой размерности, работает только на числовых данных.

Достоинства:
*выполняет кластеризацию на высоком уровне даже при наличии выбросов;
*выделяет кластеры сложной формы и различных размеров,
*обладает линейно зависимыми требованиями к месту хранения данных и временную сложность для данных высокой размерности.

Недостатки: есть необходимость в задании пороговых значений и количества кластеров.

Описание алгоритма :

[[file:Page1.png|thumb|center|1400px|Рисунок 1: Обзор CURE ]]

'''Шаг 1:''' Построение дерева кластеров, состоящего из каждой строки входного набора данных.

'''Шаг 2:''' Формирование «кучи» в оперативной памяти, расчет расстояния до ближайшего кластера (строки данных) для каждого кластера. При формировании кучи кластеры сортируются по возрастанию дистанции от кластера до ближайшего кластера. Расстояние между кластерами определяется по двум ближайшим элементам из соседних кластеров. Для определения расстояния между кластерами используются «манхеттенская», «евклидова» метрики или похожие на них функции.

''Метрика Евклида:'' <math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

''«Манхеттенская» метрика:'' <math>\rho(p,k) =\sum_{i=1}^n |p_{i} - k_{i}|</math>

'''Шаг 3:''' Слияние ближних кластеров в один кластер. Новый кластер получает все точки входящих в него входных данных. Расчет расстояния до остальных кластеров для новообразованного кластера. Для расчета расстояния кластеры делятся на две группы: первая группа – кластеры, у которых ближайшими кластерами считаются кластеры, входящие в новообразованный кластер, остальные кластеры – вторая группа. И при этом для кластеров из первой группы, если расстояние до новообразованного кластера меньше чем до предыдущего ближайшего кластера, то ближайший кластер меняется на новообразованный кластер. В противном случае ищется новый ближайший кластер, но при этом не берутся кластеры, расстояния до которых больше, чем до новообразованного кластера. Для кластеров второй группы выполняется следующее: если расстояние до новообразованного кластера ближе, чем предыдущий ближайший кластер, то ближайший кластер меняется. В противном случае ничего не происходит.

'''Шаг 4:''' Переход на шаг 3, если не получено требуемое количество кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Factor_a.png|400px|thumb|center| Рисунок 2: Чувствительность алгоритма к параметру <math>\alpha </math>.]]

== Математическое описание алгоритма ==

Прежде всего, алгоритм использует случайное разбиение выборки из <math> n </math> элементов на <math> p </math> частей, которые могут поместиться в память отдельной машины кластера. Затем во время первого прохода алгоритм уменьшает число кластеров в каждой подвыборке до <math> \frac{n}{pq} </math>, где <math> q \geq 1 </math> – некоторая константа. Для последующего шага на вход кластеризации подаются только представительные точки <math>c</math> кластеров, полученных на предыдущем этапе. В ходе второго прохода алгоритма кластеризации остаются представительные точки для заданного количества кластеров. Алгоритм использует представительные точки, как метки, задающие форму и размер кластера.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

Псевдокод

Input : A set of points S

Output : ''k'' clusters

* For every cluster u (each input point), in u.mean and u.rep store the mean of the points in the cluster and a set of ''c'' representative points of the cluster (initially ''c'' = 1 since each cluster has one data point). Also u.closest stores the cluster closest to u.
* All the input points are inserted into a k-d tree T
* Treat each input point as separate cluster, compute u.closest for each u and then insert each cluster into the heap Q. (clusters are arranged in increasing order of distances between u and u.closest).
* While size(Q) > ''k''
* Remove the top element of Q(say u) and merge it with its closest cluster u.closest(say v) and compute the new representative points for the merged cluster w.
* Remove u and v from T and Q.
* For all the clusters x in Q, update x.closest and relocate x
* insert w into Q
* repeat

== Последовательная сложность алгоритма ==

Являясь представителем иерархических алгоритмов кластеризации, имеет сложность <math> O(n^2 log(n)) </math> и <math> O(n^2) </math> для признаковых пространств малой размерности

== Информационный граф ==

В начале работы алгоритма все объекты являются отдельными кластерами. На первом шаге наиболее похожие объекты объединяются в кластер. На последующих шагах объединение продолжается до тех пор, пока все объекты не будут составлять один кластер.

[[Файл:Metod.png|400px|thumb|center| Рисунок 3: Дендрограмма агломеративных методов]]

== Ресурс параллелизма алгоритма ==

Т.к все действия алгорима (вычисления центроид для кластеров, расстояния между кластерами, представители кластеров и изменение положения представителей) на каждом шаге можно делать независимо (как от представителей данного кластера, так и представителей других кластеров), можно сделать вывод, что возможно распараллеливание

== Входные и выходные данные алгоритма ==

'''Входные данные:''' набор данных <math> S </math> , количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Param_c.png|400px|thumb|center| Рисунок 4: Результат работы алгоритка в зависимости от количесва представлений <math>c</math>.]]

Из рисунка видно, что при меньших значениях <math>c</math> качество работы алгоритма ухудшается

'''Выходные данные:''' требуемое количество <math> k </math> крастеров

== Свойства алгоритма ==

* является масштабируемым алгоритмом

* неважна форма кластера и размер

*работает только на числовых данных

= ЧАСТЬ. Программная реализация алгоритма =

== Масштабируемость алгоритма и его реализации ==

== Существующие реализации алгоритма ==

Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [4]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =

[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Theodoridis, Sergios; Koutroumbas, Konstantinos (2006). Pattern recognition. Academic Press. pp. 572–574. ISBN 978-0-12-369531-4.

[3] Guha, Sudipto; Rastogi, Rajeev; Shim, Kyuseok (2001). "CURE: An Efficient Clustering Algorithm for Large Databases" (PDF). Information Systems. 26 (1): 35–58. doi:10.1016/S0306-4379(01)00008-4

[4] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T21:01:58Z

JuliaA: /* Существующие реализации алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

{{Assignment}}

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Examplealgorithm11.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого кластера требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:56:07Z

JuliaA: /* Общее описание алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

{{Assignment}}

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Examplealgorithm11.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:55:42Z

JuliaA: /* Общее описание алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

{{Assignment}}

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

{{Assignment}}

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Examplealgorithm11.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:53:39Z

JuliaA: /* Схема реализации последовательного алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Examplealgorithm11.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

Описанный в разделе иерархический алгоритм кластеризации является последовательным, так как на каждом шаге сравниваются расстояния между центроидами кластеров, некоторые из которых меняются при объединении кластеров.

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

Данный шаг выполняется независимо для каждой точки-представителя каждого кластера.

'''Шаг "Присваивание"'''

Вычисление расстояний до точек представителей можно выполнять независимо между собой.

== Ресурс параллелизма алгоритма ==

'''Шаг "Кластеризация"'''

Шаг 1 (вычисление центроид):

Вычисления центроид для кластеров выполняется независимо, возможно их распараллеливание.

Шаг 2 (поиск "наилучших кластеров для объединения):

На данном этапе вычисляются расстояния между кластерами, что можно сделать независимо друг от друга. Если для определения расстояния между кластерами использовать минимальное расстояние между парами элементов (по одному элементу из каждого кластера), то эти расстояния вычисляются опять же независимо друг от друга, и их можно "распараллелить".

'''Шаг "Назначение представителей"'''

Представители внутри каждого кластера определяются независимо от других кластеров и поддаются распараллеливанию.

'''Шаг "Сдвиг представителей к центроиде"'''

Изменение положения представителей можно сделать независимо как от представителей данного кластера, так и представителей других кластеров. Это также хорошо поддаётся распараллеливанию.

'''Шаг "Присваивание"'''

На данном этапе для каждой точки из таблицы, не использованной на этапе инициализации, выполняется вычисление расстояний до всех точек-представителей. Сравнение расстояний и добавление новых листьев в поддеревья кластеров можно выполнить независимо друг от друга, а значит можно выполнить распараллеливание.

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

Выходные данные:

Дерево, из корня которого выходят поддеревья, содержащие элементы одного кластера; в этих поддеревьях листья обозначают отдельные точки в пространстве.

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:20:07Z

JuliaA: /* Входные и выходные данные алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Exampleofalgorithm2.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

'''Шаг "Присваивание"'''

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:19:53Z

JuliaA: /* Общее описание алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Exampleofalgorithm2.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

'''Шаг "Присваивание"'''

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|800px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:19:12Z

JuliaA: /* Общее описание алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|800px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Exampleofalgorithm2.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

'''Шаг "Присваивание"'''

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|800px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:18:56Z

JuliaA: /* Входные и выходные данные алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Exampleofalgorithm2.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

'''Шаг "Присваивание"'''

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|800px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:18:34Z

JuliaA: /* Схема реализации последовательного алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Exampleofalgorithm2.png|800px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|800px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

'''Шаг "Присваивание"'''

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:17:44Z

JuliaA: /* Масштабируемость реализации алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Exampleofalgorithm2.png|400px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

'''Шаг "Назначение представителей"'''

[[Файл:Points c.png|400px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

'''Шаг "Присваивание"'''

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T20:17:04Z

JuliaA: /* Схема реализации последовательного алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

[[Файл:Exampleofalgorithm2.png|400px|thumb|center|Схема работы алгоритма кластеризаци CURE]]

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

== Информационный граф ==

'''Шаг "Инициализация"'''

В зависимости от алгоритма случайная выборка номеров строк матрицы <math>x</math> может производится либо зависимо, либо независимо друг от друга.

'''Шаг "Кластеризация"'''

'''Шаг "Назначение представителей"'''

[[Файл:points c.png|400px|thumb|center|Последовательный информационный граф для точек-представителей]]

'''Шаг "Сдвиг представителей к центроиде"'''

'''Шаг "Присваивание"'''

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

===Масштабируемость реализации алгоритма===

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T19:41:51Z

JuliaA: /* ЧАСТЬ. Программная реализация алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

(ПОЯСНЕНИЯ, ЕСЛИ ЕСТЬ ВРЕМЯ)

== Информационный граф ==

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

===Масштабируемость реализации алгоритма===

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T19:40:51Z

JuliaA: /* ЧАСТЬ. Программная реализация алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча, часть которой используется для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

Шаг 1:

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

Шаг 2:

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

На данном шаге для каждого кластера определяются <math>c</math> точек-представителей. Для наилучшего отображения формы множества предполагается использование точек, максимально удалённых друг от друга.

Для этого используем следующий алгоритм:

Выберем произвольную точку кластера и назначим её представителем.

ПОКА количество представителей меньше <math>c</math> ВЫПОЛНЯТЬ
Назначаем представителем точку, наименьшее расстояние от которой до уже выбранных точек-представителей является максимальным среди всех оставшихся точек.

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

Результатом работы алгоритма является дерево, ветвями которого являются отдельные кластеры. Листьями кластеров являются строки из матрицы <math>x</math>.

== Вычислительное ядро алгоритма ==

Вычислительное ядро алгоритма представляет собой итерационное построение <math>k</math> кластеров, вычисление их центроид и назначение точек-представителей.

== Макроструктура алгоритма ==

Основную часть метода составляют разбиение случайной выборки строк на <math>k</math> кластеров и нахождение точек-представителей для каждого кластера.

== Схема реализации последовательного алгоритма ==

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

(ПОЯСНЕНИЯ, ЕСЛИ ЕСТЬ ВРЕМЯ)

== Информационный граф ==

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== Локальность данных и вычислений ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

===Масштабируемость реализации алгоритма===

== Выводы для классов архитектур ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T18:54:58Z

JuliaA: /* Существующие реализации алгоритма */

Основные авторы описания: Ю.А. Антохина, С.А. Шатков

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==

Пусть дан набор точек и заданы правила определения расстояния между ними. Задача кластеризации сгруппировать эти точки в определенное число кластеров. Члены одного кластера похожи, а члены разных классов различны.

В алгоритме CURE применяется иерархическая кластеризация. Есть два подхода к иерархической кластеризации. В одном случае один большой кластер на каждом шаге разбивается на несколько, пока число кластеров не будет равно заданному заранее числу кластеров. В другом случае наоборот кластеры, состоящие каждый из одной точки объединяются в большие. Второй метод используется в CURE.

Результат кластеризации зависит от того, как будут представлены кластеры. Например, средним всех точек кластера, или всеми точками кластера. Применение среднего возможно только в евклидовом пространстве. А использование всех точек неустойчиво к случайным выбросам. В CURE используется другой метод: для каждого кластера выбираются точки представители. Выбирается постоянное число точек, которые будут представлять каждый кластер. Кластеры с наиболее похожими наборами репрезентативных точек объединяются на каждом шаге алгоритма.

За счет использования точек представителей алгоритм CURE устойчив к выбросам и может выделять кластеры сложной формы и различных размеров.

Описание шагов

'''Шаг 1'''. Если все данные использовать сразу как входные для CURE, то эффективность алгоритма будет низкая, а время выполнения большим. Поэтому на первом шаге мы случайным образом выбираем часть точек которые помещаются в память, затем группируем наиболее похожие с помощью иерархического метода.
Дальше работаем с кластерами.

'''Шаг 2'''. Для каждого кластера выбираем <math>c</math> точек представителей, максимально удаленных друг от друга. Чисто <math>c</math> остается постоянным.

'''Шаг 3'''. Объединяем кластеры с наиболее похожими наборами точек представителей.
Если не достигнуто нужное число кластеров, то перейти на шаг 2.
Чтобы при объединении кластеров не выбирать каждый раз c точек представителей из всех точек, мы выбираем их только из <math>2c</math> точек объединенных кластеров.

Выбранные точки сдвигаются на следующем шаге на <math>\alpha</math> к центроиду кластера. Алгоритм становится основанным на методе поиска центроида при <math>\alpha = 1</math>, и основанным на всех точках кластера при <math>\alpha = 0</math>.

[[Файл:Exampleofalgorithmparametrs1.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>\alpha</math>.]]

== Математическое описание алгоритма ==

Пусть дана матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>. Каждая строка матрицы представляет собой точку в <math>n</math> - мерном пространстве.

m число точек для кластеризации, n размерность.

Расстояние <math>\rho(p,k)</math> между точками <math>p = (p_{1},\dots,p_{n})</math> и <math>k = (k_{1},\dots,k_{n})</math> будем вычислять по формуле:

<math>\rho(p,k) = \sqrt{\sum_{i=1}^n (p_{i} - k_{i})^2}</math>

'''Шаг "Инициализация"'''

Выбираются <math>\lceil \gamma m\rceil</math> строк матрицы случайным образом. Например, можно использовать [https://ru.wikipedia.org/wiki/Reservoir_sampling Алгоритм R].

В основной памяти выделяется куча соответствующего размера для размещения дерева, листьями которого являются выбранные строки, соединённые ребром с вершиной дерева.

'''Шаг "Кластеризация"'''

В самом начале шага считаем каждую выбранную точку одноточечным кластером с центроидой в этой же точке.

Далее выполняем следующие шаги 1-2, пока количество кластеров не станет равно <math>k</math>:

== Шаг 1 ==

Для каждого <math>i</math>-го кластера вычисляется центроида <math>\mu_{i}</math> по формуле:

<math>\mu_{i} = \frac{1}{s_{i}}\sum_{j\in S_{i}} x^{j}</math>, где <math>S_{i}</math> - номера строк матрицы <math>x</math>, входящие в <math>i</math>-й кластер; <math>s_{i}</math> - количество элементов в множестве <math>S_{i}</math>; <math>x^{j}</math> - <math>j</math>-я строка матрицы <math>x</math>.

== Шаг 2 ==

Выполняется поиск пары кластеров, "наиболее подходящих" для объединения. В качестве критерия выбора можно рассматривать: наименьшее расстояние между центроидами кластеров или наименьшее расстояние между элементами, входящими в рассматриваемую пару кластеров. Существуют также другие критерии выбора "подходящих" классов, например, сравнение плотности кластеров до объединения и после. Далее выполняется слияние найденных кластеров. Для дерева это означает добавление новой вершины, соединённой ребром с корнем; поддеревья кластеров становятся ветвями этой новой вершины.

'''Шаг "Назначение представителей"'''

'''Шаг "Сдвиг представителей к центроиде"'''

Для каждого представителя выполняется сдвиг к центроиде соответствующего кластера в <math>\alpha</math> раз.
(ПОЯСНЕНИЯ)

'''Шаг "Присваивание"'''

На данном шаге происходит присвоение неиспользованных точек (строк матрицы <math>x</math>) к кластерам. Для точки-строки <math>p</math> вычисляется расстояние до каждого представителя. Результат: строка <math>p</math> добавляется в поддерево кластера, которому принадлежит наиближайший представитель.

== Вычислительное ядро алгоритма ==

== Макроструктура алгоритма ==

== Схема реализации последовательного алгоритма ==

== Последовательная сложность алгоритма ==

Максимальное время выполнения алгоритма <math>O(n^2 logn)</math>. Для двумерного пространства временная сложность может быть <math>O(n^2)</math>. Так что сложность алгоритма не хуже чем у центроидного. То есть при такой размерности входных данных CURE выполняется за полиномиальное время.

(ПОЯСНЕНИЯ, ЕСЛИ ЕСТЬ ВРЕМЯ)

== Информационный граф ==

== Ресурс параллелизма алгоритма ==

== Входные и выходные данные алгоритма ==

Входные данные: матрица <math>x \in R^{m\times n}</math>, количество кластеров <math>k</math>, число точек представителей <math>c</math>, параметр <math>\alpha</math>, параметр <math>\gamma</math>.

<math>m</math> число точек для кластеризации, <math>n</math> размерность.

Параметр <math>\alpha</math> для сжатия точек представления к центру кластера. В оригинальной статье авторы показывают что <math>\alpha</math> от <math>0.2</math> до <math>0.7</math> помогает хорошо выявлять несферические кластеры и подавлять редкие выбросы.

Параметр <math>\gamma</math> задаёт какая часть от <math>m</math> точек будет использована при случайной выборке точек на шаге "Инициализация".

Число точек представителей выбирается в зависимости от данных. Если возможно появление кластеров сложной формы, то точек должно быть больше, чтобы выявить их форму. В оригинальной статье авторы показывают что уже при <math>c</math> равном <math>10</math> достигается неплохая эффективность.

[[Файл:Exampleofalgorithmparameters2.png|400px|thumb|center|Пример работы алгоритма для разных параметров <math>c</math>.]]

== Свойства алгоритма ==

Алгоритм CURE выполняет иерархическую кластеризацию с использованием набора определяющих точек. Он действует только в евклидовом пространстве и предназначен для кластеризации очень больших наборов числовых данных.

'''Преимущества''': выполняет кластеризацию на высоком уровне даже при наличии выбросов, выделяет кластеры сложной формы и различных размеров, обладает линейно зависимыми требованиями к месту хранения данных и квадратичную временную сложность для данных высокой размерности.

'''Недостатки''': есть необходимость в задании пороговых значений и количества кластеров, работает только на числовых данных, эффективен только для данных низкой размерности

= ЧАСТЬ. Программная реализация алгоритма =

== Масштабируемость алгоритма и его реализации ==

Данный раздел будет заполнен к 15 ноября.

== Существующие реализации алгоритма ==
Последовательная реализация CURE-алгоритма для кластеризации для Python/C++ представлена в пакете: [https://github.com/annoviko/pyclustering pyclustering].

Также существует параллельная реализация алгоритма, описанная в сборнике [3]. Алгоритм предложенный в статье использует массив данных состоящий из размеров кластера, его центроида и репрезентативных точек, а при объединении кластеров информацию о новом кластере просто записывают в строчку предыдущего. Также для каждого алгоритма требуется считать индекс и расстояние до ближайшего кластера. Именно их поиск авторы статьи и предлагают распараллелить.

= Литература =
[1] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[2] Sudipto Guha (Stanford), Rajeev Rastogi (Bell Labs), Kyuseok Shim (Korea Institute of Technology). CURE: an efficient clustering algorithm for large databases. SIGMOD '98 Proceedings of the 1998 ACM SIGMOD international conference on Management of data, pp 73-84

[3] Panagiotis E. Hadjidoukas, Laurent Amsaleg. OpenMP Shared Memory Parallel Programming.
Volume 4315 of the series Lecture Notes in Computer Science pp 289-299
Parallelization of a Hierarchical Data Clustering Algorithm Using OpenMP

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T18:48:16Z

JuliaA: /* Существующие реализации алгоритма */

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T18:03:03Z

JuliaA: /* Входные и выходные данные алгоритма */

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T18:02:09Z

JuliaA: /* Входные и выходные данные алгоритма */

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T18:00:07Z

JuliaA: /* ЧАСТЬ. Программная реализация алгоритма */

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T17:58:45Z

JuliaA: /* Общее описание алгоритма */

Участник:JuliaA/Алгоритм кластеризации с использованием представлений

2016-10-15T17:57:52Z

JuliaA: /* Общее описание алгоритма */

Файл:Exampleofalgorithmparametrs1.png

2016-10-15T17:54:34Z

JuliaA: JuliaA загрузил новую версию Файл:Exampleofalgorithmparametrs1.png

Файл:Exampleofalgorithmparametrs1.png

2016-10-15T17:54:16Z

JuliaA: JuliaA загрузил новую версию Файл:Exampleofalgorithmparametrs1.png

Файл:Exampleofalgorithmparametrs1.png

2016-10-15T17:53:14Z

JuliaA: