Алговики - Вклад [ru]

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T09:40:56Z

Viktorrulev: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Teplov}}

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' при использовании алгоритма наивного перемножения плотных матриц высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации алгоритма устойчивой кластеризации с использованием связей в зависимости от изменяемых параметров запуска.

[[file:ROCK results 2.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

Время выполнения кластеризации:

{|border="1"
|
| 500 объектов
| 1000 объектов
| 1500 объектов
|-
| 1 нить
| 7.930 с
| 63.308 с
| 214.692 с
|-
| 4 нити
| 4.815 с
| 37.275 с
| 126.502 с
|-
| 8 нитей
| 5.312 с
| 39.986 с
| 135.251 с
|}

Реализация алгоритма была выполнена автором статьи.<ref>https://gitlab.com/viktorrulev/superprak-1/tree/master</ref>

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T09:40:20Z

Viktorrulev:

{{Assignment|Teplov}}

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' при использовании алгоритма наивного перемножения плотных матриц высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации алгоритма устойчивой кластеризации с использованием связей в зависимости от изменяемых параметров запуска.

[[file:ROCK results 2.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

Таблица с временем выполнения кластеризации:

{|border="1"
|
| 500 объектов
| 1000 объектов
| 1500 объектов
|-
| 1 нить
| 7.930 с
| 63.308 с
| 214.692 с
|-
| 4 нити
| 4.815 с
| 37.275 с
| 126.502 с
|-
| 8 нитей
| 5.312 с
| 39.986 с
| 135.251 с
|}

Реализация алгоритма была выполнена автором статьи.<ref>https://gitlab.com/viktorrulev/superprak-1/tree/master</ref>

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Обсуждение участника:Viktorrulev

2016-12-16T09:29:24Z

Viktorrulev: /* Замечания от 2016_12_11 1 */

== Статья [[Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей]] ==

=== Замечания ===
* Формулы нужно оформить в отдельные блоки для лучшей читаемости [[Участник:Teplov|Teplov]] ([[Обсуждение участника:Teplov|обсуждение]]) 01:13, 23 октября 2016 (MSK)
:: Исправлено (сделать все формулы в одном блоке и выровнять по левой стороне вики не позволяет) [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:18, 26 октября 2016 (MSK)
* В п. 2.7 необходимо указать ссылку на источник [[Участник:Teplov|Teplov]] ([[Обсуждение участника:Teplov|обсуждение]]) 01:13, 23 октября 2016 (MSK)
:: Исправлено [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:18, 26 октября 2016 (MSK)
* В п. 1.5 указать на каком языке представлена реализация [[Участник:Teplov|Teplov]] ([[Обсуждение участника:Teplov|обсуждение]]) 01:13, 23 октября 2016 (MSK)
:: Исправлено [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:18, 26 октября 2016 (MSK)
* В п. в п. 1.7 не указано для каких параметров построен граф. [[Участник:Teplov|Teplov]] ([[Обсуждение участника:Teplov|обсуждение]]) 01:13, 23 октября 2016 (MSK)
:: Исправлено [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:18, 26 октября 2016 (MSK)
* Нужно более полное описание вычислительной мощности алгоритма [[Участник:Teplov|Teplov]] ([[Обсуждение участника:Teplov|обсуждение]]) 01:13, 23 октября 2016 (MSK)
:: Дополнено [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:18, 26 октября 2016 (MSK)

* Отсутствуют данные по численному эксперименту и масштабируемости. [[Участник:Teplov|Teplov]] ([[Обсуждение участника:Teplov|обсуждение]]) 15:01, 22 ноября 2016 (MSK)

== Замечания от 2016_12_11 1 ==

Разделы 1.1, 1.2, 1.3 описывают конкретную область (покупательная корзина и прочее), не имеющую никакого значения с точки зрения математической постановки задачи. Использование термина "транзакция" неоправданно затрудняет восприятие текста. Появляется много терминов, некоторые из к4оторых в контексте суперкомпьютерных технологий имеют совершенно иной, нежели в 'этом тексте смысл.

Например:

транзакция - передача блока данных;

домен - множество вершин расчетной сетки, обрабатываемых одним процессором.

:: Я придерживался терминологии статьи. Переделал, теперь вроде бы используются только общепринятые термины. [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:29, 16 декабря 2016 (MSK)

Есть граф, вершины, метрика и взвешенные рёбра. Почему нельзя ограничиться этой общепринятой терминологией?

:: Эта статья о кластеризации точек в пространстве, графы в описании алгоритма из статьи ни разу не упоминаются. Не вижу смысла писать о них в этой статье. [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:29, 16 декабря 2016 (MSK)

Стоит ли заставлять читателя запоминать термин "домен признака", хотя по существу в статье он не используется?

Дополните статью таблицей (хотя бы для двух-трёх размеров графа, например, M=500,1000,1500) с графами: число потоков, время выполнения, ускорение, эффективность.

Обратите внимание, в тексте нет понятия points, а на графике есть. Используйте одну систему обозначений.

:: Заменил. [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:29, 16 декабря 2016 (MSK)

Раздел 1.6
Замените текст "имеет такую же вычислительную сложность, как и предыдущий шаг. "
на "имеет сложность O(M). ". Не заставляйте читателя метаться по тексту, ему и так непросто.

:: Исправил. [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:29, 16 декабря 2016 (MSK)

Раздел 1.7
Оценка сложности перемножения матриц в Вашей статье то <math>O(M^{2.37})</math>, то <math>O(M^2m_{nbr})</math>,
что вполне можно понять, но ссылку на информационный граф перемножения плотных матриц указана на совершенно другой алгоритм, с оценкой <math>O(M^{3})</math>. Определитесь, пожалуйста.

:: Я указал ссылку на статью в алговики, в которой рассказываются общие вещи о перемножении плотных матриц. При рассмотрении ресурса параллелизма я рассмотрел наивное перемножение матриц, потому что на общую асимптотику оно не влияет, а найти высоту и ширину ЯПФ более сложных и быстрых алгоритмов у меня не получилось. На два других алгоритма ссылалась статья, и я решил о них упомянуть. Уточнил в статье, чтобы у читателя не возникало сомнений. [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:29, 16 декабря 2016 (MSK)

Если я правильно понял, Вы самостоятельно написали программы. Укажите это явно в разделе 2.4.

:: Да. Указал это, дал ссылку на репозиторий на гитлабе. [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:29, 16 декабря 2016 (MSK)

Есть ли соображения, в чём причина отсутствия ускорения на Ломоносове? Какие там времена получились?

--[[Участник:Lira|Lira]] ([[Обсуждение участника:Lira|обсуждение]]) 23:42, 11 декабря 2016 (MSK)

:: Возможно потому, что я как-то неправильно собираю и запускаю проект, или неправильно измеряю время. Но скорее всего из-за того, что в реализации на MPI после каждой итерации каждый процесс несколько раз обменивается с каждым (два allgather) достаточно большими объемами информации. Придумать, как это сделать в помощью одного allreduce, у меня не получилось, хотя, возможно, это ускорило бы обмен. OpenMP-реализации на Ломоносове, как я понял, в принципе не очень эффективны (возможно, получилось бы быстрее, если бы OpenMP на Ломоносове поддерживал пользовательские reduce-операции). Результаты OpenMP:

::Threads: 1, time: 0.15 0.85 2.46 5.54 10.48 17.81 27.94 41.44 58.63 80.34

::Threads: 8, time: 0.2 0.87 2.43 5.43 10.31 17.51 27.18 40.42 57.33 78.81

::Threads: 16, time: 11.68 25.73 40.48 57.13 75.34 94.83 118.98 139.17 173.92 210.98

::Threads: 24, time: 18.95 39.87 61.52 85.27 110.02 136.77 167.49 201.79 237.88 283.29

::Результаты MPI-реализации не могу найти, но, если надо, могу получить. Насколько я помню, в них в зависимости от количества процессов время выполнения стабильно росло. [[Участник:Viktorrulev|Viktorrulev]] ([[Обсуждение участника:Viktorrulev|обсуждение]]) 12:29, 16 декабря 2016 (MSK)

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T09:22:01Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{Assignment|Teplov}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' при использовании алгоритма наивного перемножения плотных матриц высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации алгоритма устойчивой кластеризации с использованием связей в зависимости от изменяемых параметров запуска.

[[file:ROCK results 2.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

Реализация алгоритма была выполнена автором статьи.<ref>https://gitlab.com/viktorrulev/superprak-1/tree/master</ref>

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T09:19:16Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{Assignment|Teplov}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' при использовании алгоритма наивного перемножения плотных матриц высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации алгоритма устойчивой кластеризации с использованием связей в зависимости от изменяемых параметров запуска.

[[file:ROCK results 2.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

Реализация алгоритма была выполнена автором статьи.<ref>https://gitlab.com/viktorrulev/superprak-1/tree/master</ref>

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T09:16:51Z

Viktorrulev: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Teplov}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации алгоритма устойчивой кластеризации с использованием связей в зависимости от изменяемых параметров запуска.

[[file:ROCK results 2.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

Реализация алгоритма была выполнена автором статьи.<ref>https://gitlab.com/viktorrulev/superprak-1/tree/master</ref>

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T09:16:34Z

Viktorrulev: /* Программная реализация алгоритма */

{{Assignment|Teplov}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации алгоритма устойчивой кластеризации с использованием связей в зависимости от изменяемых параметров запуска.

[[file:ROCK results 2.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

Реализация алгоритма была выполнена автором статьи.<ref>https://gitlab.com/viktorrulev/superprak-1/tree/master</ref>

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T08:58:36Z

Viktorrulev: /* Программная реализация алгоритма */

{{Assignment|Teplov}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[[file:ROCK results 2.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-12-16T08:56:37Z

Viktorrulev: /* Свойства и структура алгоритма */

{{Assignment|Teplov}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо конечного множества), бинарными (принимающими только два значения, обычно <math>true</math> или <math>false</math>).

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с бинарными признаками. При этом алгоритм особенно эффективен, если у каждого объекта лишь небольшое количество признаков имеет значение <math>true</math>.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся объектов <math>P=\{p_1,...,p_M\}</math> (каждый объект имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть два объекта <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих объектов больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя объектами <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих объектов.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждый объект считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой объектов (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних объектов.

'''Шаг 2:''' вычисление количества связей между всеми объектами.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждого объекта значительно меньше общего количества объектов, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей объекта.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет сложность <math>O(M)</math>.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних объектов для каждого объекта выборки, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> объектах, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов объекта имеет значение "true", каждый объект можно хранить в виде списка номеров атрибутов, значения которых равны "true".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов объектов, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних объектов у каждого объекта сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних объектов (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[[file:ROCK results.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

'' '''Для проверяющего''': я сделал OpenMP и MPI реализации этого алгоритма, но при запуске на Ломоносове они не дают никакого ускорения в зависимости от количества нитей/процессов. Я могу предоставить графики, показывающие это. Также я готов предоставить исходники обеих программ, но не могу выложить их на git.algowiki-project.org, потому что мне не приходит письмо с подтверждением регистрации.''

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-11-22T18:19:27Z

Viktorrulev: /* Масштабируемость алгоритма и его реализации */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних транзакций у каждой транзакции сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних транзакций (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[[file:ROCK results.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

'' '''Для проверяющего''': я сделал OpenMP и MPI реализации этого алгоритма, но при запуске на Ломоносове они не дают никакого ускорения в зависимости от количества нитей/процессов. Я могу предоставить графики, показывающие это. Также я готов предоставить исходники обеих программ, но не могу выложить их на git.algowiki-project.org, потому что мне не приходит письмо с подтверждением регистрации.''

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-11-22T18:18:52Z

Viktorrulev: /* Масштабируемость алгоритма и его реализации */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних транзакций у каждой транзакции сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних транзакций (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[[file:ROCK results.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

''Для проверяющих: я сделал OpenMP и MPI реализации этого алгоритма, но при запуске на Ломоносове они не дают никакого ускорения в зависимости от количества нитей/процессов. Я могу предоставить графики, показывающие это. Также я готов предоставить исходники обеих программ, но не могу выложить их на git.algowiki-project.org, потому что мне не приходит письмо с подтверждением регистрации.''

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-11-22T18:18:20Z

Viktorrulev:

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних транзакций у каждой транзакции сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних транзакций (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[[file:ROCK results.png|thumb|center|700px|Рисунок 1. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

''Для проверяющих: я сделал OpenMP и MPI реализации этого алгоритма, но при запуске на Ломоносове они не дают никакого ускорения в зависимости от количества нитей/процессов. Я могу предоставить графики, показывающие это. Также я готов предоставить исходники обеих программ, но не могу выложить их на git.algowiki-project.org, потому что мне не приходит письмо с подтверждением регистрации.''

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-11-22T18:17:37Z

Viktorrulev: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних транзакций у каждой транзакции сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних транзакций (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма устройчивой кластеризации с использованием связей, выполненной с использованием OpenMP. Исследование проводилось на персональном компьютере HP Pavilion dv6 (процессор Intel Core i7 3610QM 2300 МГц, 8 логических ядер).

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число нитей [1 : 8] с шагом 1;
* количество точек [500 : 1500] с шагом 100.

На следующих рисунках приведены графики времени выполнения выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[[file:ROCK results.png|thumb|center|700px|Рисунок 1. Параллельная реализация алгоритма устойчивой кластеризации с использованием связей. Изменение времени выполнения кластеризации в зависимости от количества точек и от количества параллельных нитей.]]

''Для проверяющих: я сделал OpenMP и MPI реализации этого алгоритма, но при запуске на Ломоносове они не дают никакого ускорения в зависимости от количества нитей/процессов. Я могу предоставить графики, показывающие это. Также я готов предоставить исходники обеих программ, но не могу выложить их на git.algowiki-project.org, потому что мне не приходит письмо с подтверждением регистрации.''

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-31T20:15:17Z

Viktorrulev:

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних транзакций у каждой транзакции сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних транзакций (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Обсуждение участника:Viktorrulev

2016-10-26T09:18:43Z

Viktorrulev:

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T09:18:24Z

Viktorrulev: /* Свойства алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Вычислительная сложность последовательного алгоритма в общем случае равна <math>O(M^{2.37})</math>, а в случае небольшого количества соседних транзакций у каждой транзакции сложность равна <math>O(M^{2})</math>.

Вычислительная мощность алгоритма (соотношение количества операций к объему входных и выходных данных) в общем случае равна O(M^{1.37}), в а случае небольшого количества соседних транзакций (то есть в том случае, для которого и разрабатывался алгоритм) вычислительная мощность линейна.

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T09:15:03Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как <math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T09:14:45Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи как math>O(MlogM)</math>, а ширина ЯПФ - как <math>O(M^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T09:09:49Z

Viktorrulev: /* Последовательная сложность алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма в общем случае можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>

или в случае небольшого количества соседних транзакций, как

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T08:39:38Z

Viktorrulev: /* Последовательная сложность алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>
или

:<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T08:39:24Z

Viktorrulev: /* Последовательная сложность алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>
или

<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T08:39:12Z

Viktorrulev: /* Последовательная сложность алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math>
или
<math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T08:23:41Z

Viktorrulev: /* Математическое описание алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)
</math>
 
:<math>
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}
</math>
 
:<math>
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)
</math>
 
:<math>
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}
</math>
 
:<math>
f(\theta)=\frac {1-\theta}{1+\theta}
</math>
 
:<math>
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T08:10:43Z

Viktorrulev: /* Математическое описание алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства <math>neighbour(p_1,p_2)</math> этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math> В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства <math>sim(p_1,p_2)</math>. В ней <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера.

'''Количеством связей''' <math>link(p_1,p_2)</math> между двумя транзакциями <math>p_1</math> и <math>p_2</math> будем называть количество общих соседей этих транзакций.

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика <math>goodness(C_i,C_j)</math> достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

Формулы метода:
:<math>
\begin{align}
neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta), \\
sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}, \\
link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big), \\
E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}, \\
f(\theta)=\frac {1-\theta}{1+\theta}, \\
goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}.
\end{align}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T08:00:16Z

Viktorrulev: /* Последовательная сложность алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

:<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

:<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

:<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

:<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

:<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

:<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как

:<math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T07:59:40Z

Viktorrulev: /* Математическое описание алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

:<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

:<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

:<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

:<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

:<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

:<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T07:58:29Z

Viktorrulev: /* Информационный граф */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного для рассмотрения этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла) при <math>n=5</math>.

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T07:53:47Z

Viktorrulev: /* Схема реализации последовательного алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Ниже приведен псевдокод схемы реализации последовательного алгоритма:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла).

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-26T07:49:08Z

Viktorrulev: /* Существующие реализации алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла).

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.<ref>https://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/RockCluster</ref>

== Литература ==

<references \>

Участник:Viktorrulev

2016-10-25T21:35:06Z

Viktorrulev:

'''Рулев Виктор Антонович'''

620 группа

[[Участник:Viktorrulev/Алгоритм_устойчивой_кластеризации_с_иcпользованием_связей|Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)]]

e-mail: viktorrulev@yandex.ru

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-16T12:58:05Z

Viktorrulev: /* Информационный граф */

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения плотных матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла).

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Файл:Rock-graph.png

2016-10-16T12:57:03Z

Viktorrulev: Viktorrulev загрузил новую версию Файл:Rock-graph.png

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-16T12:51:26Z

Viktorrulev:

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(MlogM)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла).

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, а внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга. Следовательно ширина ЯПФ в этом случае равна <math>O(M)</math>, а высота ЯПФ равна <math>O(MlogM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-16T01:06:36Z

Viktorrulev:

{{Assignment}}

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла).

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>O(M)</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>O(logM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-16T01:04:56Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла).

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>O(M^2)</math>, а высота - <math>O(1)</math>.

'''Шаг 2:''' высота ЯПФ равна <math>O(M)</math>, а ширина - <math>O(M^2)</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>O(M)</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>O(logM)</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-16T01:03:14Z

Viktorrulev: /* Информационный граф */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

''Информационный граф перемножения матриц с подробным описанием представлен в статье [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]''

Ниже представлен информационный граф наиболее интересного этапа алгоритма устойчивой кластеризации с использованием связей - тела цикла (полупрозрачным показана следующая итерация цикла).

[[file:Rock-graph.png|thumb|center|1000px|Рисунок 1. Граф тела цикла; merge - объединение кластеров, insert - вставка goodness с новым кластером в упорядоченные списки соответствующих кластеров.]]

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Файл:Rock-graph.png

2016-10-16T01:00:44Z

Viktorrulev:

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T23:04:32Z

Viktorrulev: /* Последовательная сложность алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:44:58Z

Viktorrulev: /* Программная реализация алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:41:21Z

Viktorrulev: /* Программная реализация алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Существующие реализации алгоритма ===

Алгоритм устойчивой кластеризации с иcпользованием связей реализован в пакете CBA языка R.

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:33:59Z

Viktorrulev:

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:33:47Z

Viktorrulev:

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^2m_nbr + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:33:25Z

Viktorrulev: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:32:41Z

Viktorrulev: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как показано выше, является даже лучше, чем квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:32:07Z

Viktorrulev: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является лучше, чем квадратичным.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:28:51Z

Viktorrulev:

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>O(M)</math>
| pf_width = <math>O(M^2)</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

(to do)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:28:28Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>...</math>
| pf_width = <math>...</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' высота ЯПФ равна <math>M</math>, а ширина - <math>M^2</math> (''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]]'')

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

Таким образом, высота ЯПФ зависит от размерности задачи линейно, а ширина ЯПФ - квадратично.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

(to do)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:20:38Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>...</math>
| pf_width = <math>...</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' ''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]] или [[Перемножение_разреженных_матриц|перемножение разреженных матриц]] в зависимости от специфики входных данных''

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично шагу 3.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

(to do)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:19:21Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>...</math>
| pf_width = <math>...</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' ''см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]] или [[Перемножение_разреженных_матриц|перемножение разреженных матриц]] в зависимости от специфики входных данных''

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

(to do)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>

Участник:Viktorrulev/Алгоритм устойчивой кластеризации с иcпользованием связей

2016-10-15T22:19:05Z

Viktorrulev: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм устойчивой кластеризации с иcпользованием связей
| serial_complexity = <math>O(M^2 + M^{2.37} + M^{2}logM)</math>
| pf_height = <math>...</math>
| pf_width = <math>...</math>
| input_data = <math>M \times N</math>
| output_data = <math>M</math>
}}

Автор описания: [[Участник:viktorrulev|В.А. Рулев]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация (кластерный анализ) — задача разбиения заданной выборки объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Каждый объект из выборки характеризуется рядом признаков, которые могут быть вещественными, целочисленными, категорийными (то есть принимающими значения из какого-либо множества) и другими. Множество значений, которые может принимать признак, называется доменом этого признака. Так, например, у объекта '''кошка''' может быть категорийный признак '''порода''', доменом которого является множество '''[персидская, бенгальская, сфинкс, мейн-кун, ...]'''.

'''Алгоритм устойчивой кластеризации с иcпользованием связей (robust clustering using links, ROCK)''' был предложен в 2000 году Sudipto Guha (Stanford University), Rajeev Rastogi (Bell Laboratories) и Kyuseok Shim (Bell Laboratories) <ref>Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK: A robust clustering algorithm for categorical attributes. 2000. Information Systems. Vol 25, Issue 5, Pages 345-366</ref> для кластеризации объектов с категорийными признаками.

Алгоритм устойчивой кластеризации с использованием связей предназначен для работы с объектами типа "транзакция" ("покупательская корзина"). Транзакция представляет собой множество товаров, приобретенных покупателем у поставщика. Каждому товару, который есть в наличии у поставщика, в транзакции соответствует отдельный признак, который принимает значение '''true''', если товар присутствует в транзакции, и '''false''', если товар в транзакции отсутствует.

=== Математическое описание алгоритма ===

В ходе кластеризации <math>M</math> имеющихся транзакций <math>P=\{p_1,...,p_M\}</math> (каждая транзакция имеет <math>N</math> признаков) должны быть разделены на <math>K</math> непересекающихся подмножеств (кластеров) <math>C_1, ..., C_K</math> таким образом, чтобы полученные кластеры максимизировали некоторую критериальную функцию <math>E(C_1, ..., C_K)</math>.

Будет называть две транзакции <math>p_1</math> и <math>p_2</math> '''соседями''', если мера сходства этих транзакций больше некоторого заранее заданного порогового значения <math>\theta</math>, то есть

<math>neighbour(p_1,p_2)=(sim(p_1,p_2)>\theta)</math>

В качестве меры сходства в алгоритме устойчивой кластеризации с использованием связей используется основанная на коэффициенте Жаккара мера сходства

<math>sim(p_1,p_2)=\frac{N(p_1 \cap p_2)}{N(p_1 \cup p_2)}</math>

'''Количеством связей''' между двумя транзакциями будем называть количество общих соседей этих транзакций, то есть

<math>link(p_1,p_2)=N \Big( \{ p \in P | sim(p_1,p) < \theta \} \cap \{ p \in P | sim(p_2,p) < \theta \} \Big)</math>

В качестве критериальной функции используется функция вида

<math>E(C_1,...,C_K)=\sum_{i=1}^{K}N(C_i) \ast \sum_{p_q,p_r \in C_i}\frac{link(p_q,p_r)}{N(C_i)^{1+2f(\theta)}}</math>

Здесь <math>N(C_i)^{1+2f(\theta)}</math> имеет смысл ожидаемого (среднего) количества связей внутри одного кластера. Функция <math>f(\theta)</math> имеет вид

<math>f(\theta)=\frac {1-\theta}{1+\theta}</math>

Для того, чтобы сформировать кластеры, удовлетворяющие поставленному условию, необходимо последовательно объединять среди имеющихся кластеров такие пары кластеров, для которых метрика

<math>goodness(C_i,C_j)=\frac {\sum_{p_r \in C_i, p_q \in C_j}{link(p_r,p_q)}} {(N(C_i) + N(C_j))^{1+2f(\theta)} - N(C_i)^{1+2f(\theta)} - N(C_j)^{1+2f(\theta)}}</math>

достигает максимального значения среди всех пар кластеров. На начальном этапе каждая транзакция считается отдельным кластером.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно разделить на два основных этапа:

# Вычисление количества связей между каждой парой транзакций (<math>\frac {M \times M} {2}</math> вычислений количества связей)
# Последовательные объединения пар наиболее подходящих кластеров (<math>M-K</math> поисков пар и объединений)

Подробнее оба этапа будут описаны ниже.

=== Макроструктура алгоритма ===

На макроуровне можно выделить следующие шаги алгоритма:

'''Шаг 1:''' вычисление соседних транзакций.

'''Шаг 2:''' вычисление количества связей между всеми транзакциями.

'''Шаг 3:''' построение для каждого кластера упорядоченного списка значений метрики goodness со всеми остальными кластерами

'''Шаг 4:''' построение общего упорядоченного списка значений метрики goodness

'''Шаг 5 (повторяется то тех пор, пока количество кластеров не достигнет желаемого)'''

'''Шаг 5.1:''' объединение двух кластеров с наилучшим goodness

'''Шаг 5.2:''' обновление списков кластеров

=== Схема реализации последовательного алгоритма ===

Схема реализации последовательного алгоритма выглядит следующим образом:

<source lang="pascal">
procedure compute_links(P)
begin
for each p[i], p[j] in P do
if sim(p[i], p[j]) > theta
is_neighbour[i, j] = true
else
is_neighbour[i, j] = false

links[i, j] = 0
for each p[i], p[j] in P do
for p[k] in P do
if is_neighbour[i, k] && is_neighbour[j, k]
links[i, j] = links[i, j] + 1
end

procedure cluster(P, k)
begin
links := compute_links(P)

for each p in P do
q[p] := build_local_list(links, p)
Q := build global_list(P, q)

while size(Q) > k do
begin
u := extract_max(Q)
v := extract_max(q[u])
w := merge(u, v)
delete(Q, v)

for each x in (q[u] or q[v]) do
begin
delete(q[x], u);
delete(q[x], v)
insert(q[x], w, goodness(x, w))
insert(q[w], x, goodness(x, w))
update(Q, x, q[x])
end

insert(Q, w, q[w])
deallocate(q[u])
deallocate(q[v])
end
end
</source>

=== Последовательная сложность алгоритма ===

Рассмотрим сложности шагов алгоритма из раздела 1.4.

'''Шаг 1:''' выполняется с помощью двух вложенных циклов и содержит <math>O(M^2)</math> операций

'''Шаг 2:''' задача сводится к умножению полученной на предыдущем шаге матрицы соседства на саму себя. Это действие быть выполнено с помощью наивного метода за <math>O(M^3)</math> операций. С помощью алгоритма Алгоритм Копперсмита — Винограда это можно сделать за <math>O(M^{2.37})</math> операций.<ref>Donald Coppersmith and Shmuel Winograd. Matrix multiplication via arithmetic progressions. In Proc. of the 19th Annual ACM Symposium on Theory of Computing. 1987.</ref> В случае, если среднее количество соседей каждой транзакции значительно меньше общего количества транзакций, связи могут быть вычислены за <math>O(M^2m_{nbr})</math>, где <math>m_{nbr}</math> - среднее количество соседей транзакции.

'''Шаг 3:''' имеет сложность <math>O(M)</math>.<ref>Thomas H. Cormen, Charles E. Leiserson, and Ronald L. Rivest. Introduction to
Algorithms. The MIT Press, Massachusetts, 1990.</ref>

'''Шаг 4:''' имеет такую же вычислительную сложность, как и предыдущий шаг.

'''Шаг 5:''' вычислительная сложность каждой итерации цикла составляет <math>O(MlogM)</math>, так как в худшем случае в ходе итерации выполняется <math>M</math> вставок элемента в упорядоченный список. Желаемое количество кластеров <math>K</math> мало по сравнению с <math>M</math>, следовательно можно считать, что нужно выполнить <math>M</math> итераций цикла. Таким образом, общая вычислительная сложность цикла равна <math>O(M^{2}logM)</math>.

Таким образом, общую последовательную сложность алгоритма можно оценить, как <math>O(M^2 + M^{2.37} + M^{2}logM)</math> или <math>O(M^2 + M^2m_{nbr} + M^{2}logM)</math>.

=== Информационный граф ===

(to do)

=== Ресурс параллелизма алгоритма ===

'''Шаг 1:''' каждая итерация цикла может быть выполнена независимо от всех остальных. Таким образом, в этом случае ширина ЯПФ равна <math>M \times M</math>, а высота - <math>1</math>.

'''Шаг 2:''' см. [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножение плотных матриц]] или [[Перемножение_разреженных_матриц|перемножение разреженных матриц]] в зависимости от специфики входных данных

'''Шаг 3:''' имеет небольшую асимптотическую сложность, может быть выполнен последовательно.

'''Шаг 4:''' аналогично.

'''Шаг 5:''' каждая итерация цикла может быть выполнена только после полного завершения предыдущей, следовательно высота ЯПФ равна <math>M</math>. Внутри каждой отдельной итерации все вставки могут быть выполнены независимо друг от друга, следовательно ширина ЯПФ в этом случае равна <math>logM</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': информация об <math>M</math> транзакциях, каждая их которых имеет <math>N</math> бинарных атрибутов.

'''Объём входных данных''': <math>M \times N</math> бинарных переменных. В силу того, что обычно в большинстве случаев лишь небольшое количество атрибутов транзакции имеет значение "1", каждую транзакцию можно хранить в виде списка номеров атрибутов, значения которых равны "1".

'''Выходные данные''': <math>K</math> кластеров.

'''Объём выходных данных''': <math>M</math> индексов транзакций, распределенных в <math>K</math> списков.

=== Свойства алгоритма ===

(to do)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

и тут

=== Локальность данных и вычислений ===

и тут

=== Возможные способы и особенности параллельной реализации алгоритма ===

и тут

=== Масштабируемость алгоритма и его реализации ===

и тут

=== Динамические характеристики и эффективность реализации алгоритма ===

и тут

=== Выводы для классов архитектур ===

и тут

=== Существующие реализации алгоритма ===

нету :(

== Литература ==

<references \>