Алговики - Вклад [ru]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-15T19:16:46Z

Гусева Юлия:

{{Assignment}}

Основные авторы описания: [[Участник:Тодуа_Антон | Тодуа А.Р.]],[[Участник:Гусева_Юлия |Гусева Ю.В.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм ''PAM'' (Partitioning Around Medoids) был предложен Чарли Кауфаманом (Charlie Kaufman) и Питером Русивом (Peter Rousseeuw) в 1987<ref>Kaufman, L. and P.J. Rousseeuw, Clustering by means of medoids, in: Y. Dodge (Ed.), Statistical Data Analysis based on the L1 Norm (North-Holland, Amsterdam, 1987) 405 — 416.</ref>. Алгоритм является одним из распространённых вариантов реализации <math>k</math>-medoids.

''PAM'' используется для выполнения кластеризации[https://en.wikipedia.org/wiki/Hierarchical_clustering] объектов — процесса автоматического разбиения некоторого множества объектов на кластеры (множества) на основе их схожести (наиболее схожие объекты, как правило, располагаются в одном кластере). В качестве исходных данных алгоритму необходима симметрическая матрица с нолями на главной диагонали (dissimilarity matrix), задающая расстояние (в смысле похожести) между объектами, для которых выполняется кластеризация и число кластеров, по которым следует распределить объекты. Стоит отметить, что не все алгоритмы кластеризации требует задания количества кластеров, например, методы иерархической[https://en.wikipedia.org/wiki/Hierarchical_clustering] кластеризации свободны от данного ограничения.

Алгоритм ''PAM'' для каждого кластера в качестве его характерного представителя выбирает наиболее подходящий из объектов кластеризации. Выбранные объекты называются медоидами (medoids). Алгоритм состоит из двух стадий. Первая стадия – ''BUILD'' предназначена для выбора исходного множества медоидов. Вторая стадия – ''SWAP'' является итерационной. На каждой итерации стадии ''SWAP'' алгоритм пытается улучшить выбранное множество медоидов с помощью выполнения операции ''обмена'', которая представляет собой замену одного медоида на один из объектов кластеризации. Алгоритм завершает свою работу, когда ни один из возможных обменов не позволяет улучшить разбиение на кластеры. Часто на практике, условием завершения работы алгоритма также является момент, когда наилучшее возможное улучшение кластеризации меньше заранее выбранной пороговой величины. Введение данной величины позволяет сократить число итераций. Последнее, однако, снижает качество кластеризации (иногда незначительно).

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет расстояние от <math>i</math>-го объекта до каждого из остальных объектов
* Требуемое число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. Все медоиды относится к разных кластерам и являются их характерными представителями. Кластеры остальных объектов (не медоидов) совпадают с кластером ближайшего к ним медоида. Ближайший к <math>i</math>-му объекту медоид будем коротко назвать медоидом <math>i</math>-го объекта. Выбор медоидов осуществляется исходя из минимизации среднего расстояния (average dissimilarity) между объектами внутри одного кластера. От минимизации среднего расстояния можно перейти к минимизации суммы расстояний от объектов до их медоидов. Такой переход не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления. Стоит отметить, что в общем случае расстояние между объектами следует понимать как меру похожести (similarity) объектов.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида, в результате ''обмена'' <math>i</math>-го медоида на <math>h</math>-й объект

Под ''обменом'' <math>i</math>-го медоида на <math>h</math>-й объект будем понимать операцию, в результате которой <math>i</math>-й медоид перестаёт быть медоидом, а <math>h</math>-й объект выбирается в качестве медоида:
:<math>
\begin{align}
S & = S - \{i\} + \{h\} \\
U & = U - \{h\} + \{i\}
\end{align}
</math>

Перед выполнением алгоритма множество <math>U</math>содержит все объекты кластеризации, а множество <math>S</math> – пусто. Описание значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления будет дано при описании макроструктуры алгоритма.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, сумма расстояний от которого до всех остальных объектов минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения ''обмена''. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math>-го медоида и <math>h</math>-го объекта. В противном случае дальнейшее улучшение кластеризации с помощью ''обмена'' невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов. Как было сказано <math>j</math>-й объект лежит в том же кластере, что и его медоид: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

Для описания значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления введём следующие обозначения (в дополнение к обозначениям, введённым в математическом описании алгоритма):
* <math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
* <math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Очевидно, что для любых объектов верно неравенство <math>D_{i} <= E_{i}</math>. Отметим также, что значения <math>D_{i}</math> и <math>E_{i}</math> могут меняться при изменениях в множествах <math>U</math> и <math>S</math>, следовательно они должны пересчитываться после добавления нового медоида или выполнения операции ''обмена''.

Значение <math>C_{ij}</math> представляет собой число, на которое уменьшается значение <math>D_{j}</math> в результате выбора <math>i</math>-го объекта в качестве медоида. Очевидно, что данное значение всегда неотрицательно. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} <= d_{ij}</math>, величина <math>D_{j}</math> не изменится, т.к. ближайший к <math>j</math>-му объекту медоид останется на том же расстоянии от него, следовательно будет справедливо равенство <math>C_{ij} = 0</math>. Во втором случае, когда <math>D_{j} > d_{ij}</math>, ближайшим к <math>j</math>-му объекту медоидом станет новый выбранный медоид (<math>i</math>-ый объект), следовательно будет справедливо равенство <math>C_{ij} = D_{j} - d_{ij}</math>.
[[file:PAM_Cij.png|thumb|center|300px|Вычисление значения <math>C_{ij}</math>]]

Значение <math>T_{ijh}</math> представляет собой число, которое добавляется к значению <math>D_{j}</math> в результате выполнения операции ''обмена'' <math>i</math>-го медоида и <math>h</math>-го объекта. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} = d_{ij}</math> (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) может быть два варианта: <math>E_{j} <= d_{jh}</math> (медоидом <math>j</math>-го объекта станет второго ближайший к нему медоид), тогда справедливо равенство <math>T_{ijh} = E_{j} - D_{j}</math> и <math>E_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Во втором случае, когда <math>D_{j} != d_{ij}</math> (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) также может быть два варианта: <math>D_{j} <= d_{jh}</math> (медоид <math>j</math>-го объекта не изменится), тогда справедливо равенство <math>T_{ijh} = 0</math> и <math>D_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Таким образом, в первом случае (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) значение <math>T_{ijh}</math> может быть вычислено по формуле <math>T_{ijh} = min(E_{j}, d_{jh}) - D_{j}</math>, а во втором (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) – по формуле <math>T_{ijh} = min(d_{jh} - D_{j}, 0)</math>.
[[file:PAM_Tijh.png|thumb|center|550px|Вычисление значения <math>T_{ijh}</math>]]

=== Схема реализации последовательного алгоритма ===

В соответствии с математическим описанием алгоритм включает две стадии ''BUILD'' и ''SWAP''. Рассмотрим реализацию каждой стадии. При описании реализации последовательного алгоритма на псевдокоде будем считать, что в программе поддерживаются следующие переменные:
<math>d_{ij}</math> – расстояние между <math>i</math>-м и <math>j</math>-м объектами
<math>K</math> – требуемое число кластеров
<math>O</math> – множество всех объектов
<math>S</math> – множество медоидов
<math>U</math> – множество всех объектов, кроме медоидов <math>U = O - S</math>
<math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
<math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Значения <math>D_{i}</math> и <math>E_{i}</math> необходимо поддерживать для вычисления значений <math>C_{ij}</math> и <math>T_{ijh}</math>.

Реализация стадии ''BUILD'':
<math>S = </math>∅
Добавить в <math>S</math> объект <math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>
<math>U = O - S</math>
Начало цикла от <math>1</math> до <math>K-1</math>
Добавить к <math>S</math> объект <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>
<math>U = O - S</math>
Конец цикла

Реализация стадии ''SWAP'':
Начало цикла с постусловием
Вычислить значения <math>D_{i}, E_{i}</math> для всех объектов из множества <math>U</math>
Вычислить пару <math>i</math> и <math>h</math>: <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>
Если <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>, то выполнить обмен:
Добавить в <math>S</math> объект <math>h</math> и убрать объект <math>i</math>
Добавить в <math>U</math> объект <math>i</math> и убрать объект <math>h</math>
Конец цикла с постусловием <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>

Реализация алгоритма в соответствии с данной схемой доступа на github[https://github.com/al-pacino/Clustering/blob/master/pam.cpp].

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм ''PAM'' к алгоритмам с квадратичной сложностью по количеству <math>N</math> объектов.

=== Информационный граф ===

Ниже представлены информационные графы для стадий ''BUILD'' и ''SWAP'', они хорошо отражают параллельную структуру алгоритма.

[[file:PAM_graph_build.png|thumb|center|600px|Информационный граф выбора медоида стадии ''BUILD'']]

[[file:PAM_graph_swap.png|thumb|center|600px|Информационный граф одной итерации стадии ''SWAP'']]

=== Ресурс параллелизма алгоритма ===

Исходя из предположения неограниченности ресурсов будем считать, что в нашем распоряжении имеется <math>N * K</math> вычислительных ядер, память каждого из которых целиком содержит матрицу расстояния <math>D</math>.

Стадия ''BUILD'' состоит из выбора начального (центрального) медоида и выбора <math>K - 1</math> оставшихся медоидов. Для выбора медоида требуется вычисления <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math> (<math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>) для всех не выбранных объектов (из множества <math>U</math>). Сумму в операции <math>arg\max</math> (<math>arg\min</math>) можно считать независимо на разных ядрах, поэтому сложность выбора одного медоида на стадии ''BUILD'' можно сократить с <math>O(N^2)</math> до <math>O(N)</math> (сложность вычисления суммы на одном ядре). Выбор одного медоида на стадии ''BUILD'' осуществляется <math>K</math> раз, следовательно, сложность параллельной реализации стадии ''BUILD'' (в соответствии с данным описанием) будет равна <math>O(K * N)</math>. Также стоит отметить, что для выполнения стадии ''BUILD'' описанным выше образом, достаточно задействовать лишь <math>N</math> вычислительных ядер, а не <math>N * K</math>.

Проведём аналогичные рассуждения для одной итерации стадии ''SWAP''. Выполнение одной итерации требует вычисления <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math> для каждой пары медоида и объекта. Сумму в операции <math>arg\min</math> можно считать независимо на разных ядрах, поэтому сложность одной итерации стадии ''SWAP'' можно сократить с <math>O(K * N^2)</math> до <math>O(N)</math> если задействовать <math>N * K</math> вычислительных ядер. Если в нашем распоряжении есть только <math>N</math> вычислительных ядер, то сложность операции одной итерации стадии ''SWAP'' будет равна <math>O(K * N)</math>.

В результате проведённых рассуждений можно сделать вывод о том, что сложность параллельной реализации алгоритма является линейной по числу объектов кластеризации <math>O(K * N)</math> против квадратичной сложности <math>O(K * N^2)</math> в последовательном случае.

=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица расстояния (в смысле непохожести) между объектами кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
<math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
<math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов)

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в предположении о неограниченности ресурсов в описанном выше случае является линейным (отношение квадратичной сложности к линейной).

'''Основные достоинства алгоритма ''PAM''''':
* Менее чувствителен к выбросам, чем алгоритм <math>k</math>-средних
* Достаточно прост с точки зрения реализации
* Устойчив, поскольку не накапливает ошибок в процессе своей работы
* Возможно распараллеливание

'''Основные недостатки алгоритма ''PAM''''':
* Необходимо задание требуемого числа кластеров
* Квадратичную вычислительная сложность

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

''Срок сдачи продлён до 15-го ноября.''


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

# Последовательная реализация алгоритма PAM в пакете ClusterR на языке R:
#* Лицензия: MIT
#* [https://cran.r-project.org/package=ClusterR веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'Cluster_Medoids'. Отличительная особенность реализации <ref>Lampros Mouselimis [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'ClusterR']. October 8, 2016</ref>:
#** для задания метрики между элементами кластеризуемого множества передаётся строка, задающая одну из реализованных в алгоритме метрик. Данный подход теряет одно из преимуществ алгоритма PAM, позволяющее в качестве матрицы расстояний использовать произвольную матрицу различий.
#:
#:
# Последовательная реализация алгоритма PAM в пакете Cluster на языке R:
#* Лицензия: GPL (≥2)
#* [https://cran.r-project.org/package=cluster веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'pam()'. Данная реализация имеет следующие особенности <ref>Martin Maechler., etc. [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'cluster']. October 8, 2016</ref>:
#** функция может принимать на вход не множество точек, а матрицу расстояний между ними;
#** реализация более гибкая, так как принимает на вход матрицу различий элементов, а не использует какую-либо метрику;
#** может быть предоставлено графическое отображение.
#:
#:
#:
# Параллельная реализация алгоритма PAM в пакете SPRINT (Simple Parallel R INTerface - параллельный фреймворк) на языке R:
#* Лицензия: GPL (≥3)
#* [https://cran.r-project.org/package=sprint веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в фукции 'ppam()'. Входные параметры данной функции схожи с параметрами, задаваемыми в линейной реализации 'pam()' пакета Cluster языка R. Отличительной особенностью является подача на вход предвычисленной матрицы расстояний (например, с помощью функции 'pcor()' из этой же библиотеки).<ref>University of Edinburgh SPRINT Team. [https://cran.r-project.org/web/packages/sprint/sprint.pdf Package 'sprint']. February 20, 2015</ref>
#:
#:
# Параллельная реализация алгоритма PAM на основе операций MapReduce на Hadoop кластере.
#* В рамках исследования по ускорению анализа информации о геноме были созданы реализации алгоритма PAM с использованием технологии MPI и технологии MapReduce. Реализация в открытом досупе отсутствует. <ref>[Dobrzelecki B. et al. Managing and analysing Genomic Data using HPC and Clouds //Grid and Cloud Database Management. – Springer Berlin Heidelberg, 2011. – С. 261-277.</ref>

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-15T19:16:25Z

Гусева Юлия:

{{Assignment}}

Основные авторы описания: [[Участник:Тодуа_Антон | Тодуа А.Р.]],[[Участник:Гусева_Юлия |Гусева Ю.В.]]
(вклад равноценный)
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм ''PAM'' (Partitioning Around Medoids) был предложен Чарли Кауфаманом (Charlie Kaufman) и Питером Русивом (Peter Rousseeuw) в 1987<ref>Kaufman, L. and P.J. Rousseeuw, Clustering by means of medoids, in: Y. Dodge (Ed.), Statistical Data Analysis based on the L1 Norm (North-Holland, Amsterdam, 1987) 405 — 416.</ref>. Алгоритм является одним из распространённых вариантов реализации <math>k</math>-medoids.

''PAM'' используется для выполнения кластеризации[https://en.wikipedia.org/wiki/Hierarchical_clustering] объектов — процесса автоматического разбиения некоторого множества объектов на кластеры (множества) на основе их схожести (наиболее схожие объекты, как правило, располагаются в одном кластере). В качестве исходных данных алгоритму необходима симметрическая матрица с нолями на главной диагонали (dissimilarity matrix), задающая расстояние (в смысле похожести) между объектами, для которых выполняется кластеризация и число кластеров, по которым следует распределить объекты. Стоит отметить, что не все алгоритмы кластеризации требует задания количества кластеров, например, методы иерархической[https://en.wikipedia.org/wiki/Hierarchical_clustering] кластеризации свободны от данного ограничения.

Алгоритм ''PAM'' для каждого кластера в качестве его характерного представителя выбирает наиболее подходящий из объектов кластеризации. Выбранные объекты называются медоидами (medoids). Алгоритм состоит из двух стадий. Первая стадия – ''BUILD'' предназначена для выбора исходного множества медоидов. Вторая стадия – ''SWAP'' является итерационной. На каждой итерации стадии ''SWAP'' алгоритм пытается улучшить выбранное множество медоидов с помощью выполнения операции ''обмена'', которая представляет собой замену одного медоида на один из объектов кластеризации. Алгоритм завершает свою работу, когда ни один из возможных обменов не позволяет улучшить разбиение на кластеры. Часто на практике, условием завершения работы алгоритма также является момент, когда наилучшее возможное улучшение кластеризации меньше заранее выбранной пороговой величины. Введение данной величины позволяет сократить число итераций. Последнее, однако, снижает качество кластеризации (иногда незначительно).

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет расстояние от <math>i</math>-го объекта до каждого из остальных объектов
* Требуемое число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. Все медоиды относится к разных кластерам и являются их характерными представителями. Кластеры остальных объектов (не медоидов) совпадают с кластером ближайшего к ним медоида. Ближайший к <math>i</math>-му объекту медоид будем коротко назвать медоидом <math>i</math>-го объекта. Выбор медоидов осуществляется исходя из минимизации среднего расстояния (average dissimilarity) между объектами внутри одного кластера. От минимизации среднего расстояния можно перейти к минимизации суммы расстояний от объектов до их медоидов. Такой переход не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления. Стоит отметить, что в общем случае расстояние между объектами следует понимать как меру похожести (similarity) объектов.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида, в результате ''обмена'' <math>i</math>-го медоида на <math>h</math>-й объект

Под ''обменом'' <math>i</math>-го медоида на <math>h</math>-й объект будем понимать операцию, в результате которой <math>i</math>-й медоид перестаёт быть медоидом, а <math>h</math>-й объект выбирается в качестве медоида:
:<math>
\begin{align}
S & = S - \{i\} + \{h\} \\
U & = U - \{h\} + \{i\}
\end{align}
</math>

Перед выполнением алгоритма множество <math>U</math>содержит все объекты кластеризации, а множество <math>S</math> – пусто. Описание значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления будет дано при описании макроструктуры алгоритма.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, сумма расстояний от которого до всех остальных объектов минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения ''обмена''. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math>-го медоида и <math>h</math>-го объекта. В противном случае дальнейшее улучшение кластеризации с помощью ''обмена'' невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов. Как было сказано <math>j</math>-й объект лежит в том же кластере, что и его медоид: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

Для описания значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления введём следующие обозначения (в дополнение к обозначениям, введённым в математическом описании алгоритма):
* <math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
* <math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Очевидно, что для любых объектов верно неравенство <math>D_{i} <= E_{i}</math>. Отметим также, что значения <math>D_{i}</math> и <math>E_{i}</math> могут меняться при изменениях в множествах <math>U</math> и <math>S</math>, следовательно они должны пересчитываться после добавления нового медоида или выполнения операции ''обмена''.

Значение <math>C_{ij}</math> представляет собой число, на которое уменьшается значение <math>D_{j}</math> в результате выбора <math>i</math>-го объекта в качестве медоида. Очевидно, что данное значение всегда неотрицательно. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} <= d_{ij}</math>, величина <math>D_{j}</math> не изменится, т.к. ближайший к <math>j</math>-му объекту медоид останется на том же расстоянии от него, следовательно будет справедливо равенство <math>C_{ij} = 0</math>. Во втором случае, когда <math>D_{j} > d_{ij}</math>, ближайшим к <math>j</math>-му объекту медоидом станет новый выбранный медоид (<math>i</math>-ый объект), следовательно будет справедливо равенство <math>C_{ij} = D_{j} - d_{ij}</math>.
[[file:PAM_Cij.png|thumb|center|300px|Вычисление значения <math>C_{ij}</math>]]

Значение <math>T_{ijh}</math> представляет собой число, которое добавляется к значению <math>D_{j}</math> в результате выполнения операции ''обмена'' <math>i</math>-го медоида и <math>h</math>-го объекта. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} = d_{ij}</math> (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) может быть два варианта: <math>E_{j} <= d_{jh}</math> (медоидом <math>j</math>-го объекта станет второго ближайший к нему медоид), тогда справедливо равенство <math>T_{ijh} = E_{j} - D_{j}</math> и <math>E_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Во втором случае, когда <math>D_{j} != d_{ij}</math> (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) также может быть два варианта: <math>D_{j} <= d_{jh}</math> (медоид <math>j</math>-го объекта не изменится), тогда справедливо равенство <math>T_{ijh} = 0</math> и <math>D_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Таким образом, в первом случае (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) значение <math>T_{ijh}</math> может быть вычислено по формуле <math>T_{ijh} = min(E_{j}, d_{jh}) - D_{j}</math>, а во втором (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) – по формуле <math>T_{ijh} = min(d_{jh} - D_{j}, 0)</math>.
[[file:PAM_Tijh.png|thumb|center|550px|Вычисление значения <math>T_{ijh}</math>]]

=== Схема реализации последовательного алгоритма ===

В соответствии с математическим описанием алгоритм включает две стадии ''BUILD'' и ''SWAP''. Рассмотрим реализацию каждой стадии. При описании реализации последовательного алгоритма на псевдокоде будем считать, что в программе поддерживаются следующие переменные:
<math>d_{ij}</math> – расстояние между <math>i</math>-м и <math>j</math>-м объектами
<math>K</math> – требуемое число кластеров
<math>O</math> – множество всех объектов
<math>S</math> – множество медоидов
<math>U</math> – множество всех объектов, кроме медоидов <math>U = O - S</math>
<math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
<math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Значения <math>D_{i}</math> и <math>E_{i}</math> необходимо поддерживать для вычисления значений <math>C_{ij}</math> и <math>T_{ijh}</math>.

Реализация стадии ''BUILD'':
<math>S = </math>∅
Добавить в <math>S</math> объект <math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>
<math>U = O - S</math>
Начало цикла от <math>1</math> до <math>K-1</math>
Добавить к <math>S</math> объект <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>
<math>U = O - S</math>
Конец цикла

Реализация стадии ''SWAP'':
Начало цикла с постусловием
Вычислить значения <math>D_{i}, E_{i}</math> для всех объектов из множества <math>U</math>
Вычислить пару <math>i</math> и <math>h</math>: <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>
Если <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>, то выполнить обмен:
Добавить в <math>S</math> объект <math>h</math> и убрать объект <math>i</math>
Добавить в <math>U</math> объект <math>i</math> и убрать объект <math>h</math>
Конец цикла с постусловием <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>

Реализация алгоритма в соответствии с данной схемой доступа на github[https://github.com/al-pacino/Clustering/blob/master/pam.cpp].

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм ''PAM'' к алгоритмам с квадратичной сложностью по количеству <math>N</math> объектов.

=== Информационный граф ===

Ниже представлены информационные графы для стадий ''BUILD'' и ''SWAP'', они хорошо отражают параллельную структуру алгоритма.

[[file:PAM_graph_build.png|thumb|center|600px|Информационный граф выбора медоида стадии ''BUILD'']]

[[file:PAM_graph_swap.png|thumb|center|600px|Информационный граф одной итерации стадии ''SWAP'']]

=== Ресурс параллелизма алгоритма ===

Исходя из предположения неограниченности ресурсов будем считать, что в нашем распоряжении имеется <math>N * K</math> вычислительных ядер, память каждого из которых целиком содержит матрицу расстояния <math>D</math>.

Стадия ''BUILD'' состоит из выбора начального (центрального) медоида и выбора <math>K - 1</math> оставшихся медоидов. Для выбора медоида требуется вычисления <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math> (<math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>) для всех не выбранных объектов (из множества <math>U</math>). Сумму в операции <math>arg\max</math> (<math>arg\min</math>) можно считать независимо на разных ядрах, поэтому сложность выбора одного медоида на стадии ''BUILD'' можно сократить с <math>O(N^2)</math> до <math>O(N)</math> (сложность вычисления суммы на одном ядре). Выбор одного медоида на стадии ''BUILD'' осуществляется <math>K</math> раз, следовательно, сложность параллельной реализации стадии ''BUILD'' (в соответствии с данным описанием) будет равна <math>O(K * N)</math>. Также стоит отметить, что для выполнения стадии ''BUILD'' описанным выше образом, достаточно задействовать лишь <math>N</math> вычислительных ядер, а не <math>N * K</math>.

Проведём аналогичные рассуждения для одной итерации стадии ''SWAP''. Выполнение одной итерации требует вычисления <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math> для каждой пары медоида и объекта. Сумму в операции <math>arg\min</math> можно считать независимо на разных ядрах, поэтому сложность одной итерации стадии ''SWAP'' можно сократить с <math>O(K * N^2)</math> до <math>O(N)</math> если задействовать <math>N * K</math> вычислительных ядер. Если в нашем распоряжении есть только <math>N</math> вычислительных ядер, то сложность операции одной итерации стадии ''SWAP'' будет равна <math>O(K * N)</math>.

В результате проведённых рассуждений можно сделать вывод о том, что сложность параллельной реализации алгоритма является линейной по числу объектов кластеризации <math>O(K * N)</math> против квадратичной сложности <math>O(K * N^2)</math> в последовательном случае.

=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица расстояния (в смысле непохожести) между объектами кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
<math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
<math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов)

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в предположении о неограниченности ресурсов в описанном выше случае является линейным (отношение квадратичной сложности к линейной).

'''Основные достоинства алгоритма ''PAM''''':
* Менее чувствителен к выбросам, чем алгоритм <math>k</math>-средних
* Достаточно прост с точки зрения реализации
* Устойчив, поскольку не накапливает ошибок в процессе своей работы
* Возможно распараллеливание

'''Основные недостатки алгоритма ''PAM''''':
* Необходимо задание требуемого числа кластеров
* Квадратичную вычислительная сложность

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

''Срок сдачи продлён до 15-го ноября.''


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

# Последовательная реализация алгоритма PAM в пакете ClusterR на языке R:
#* Лицензия: MIT
#* [https://cran.r-project.org/package=ClusterR веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'Cluster_Medoids'. Отличительная особенность реализации <ref>Lampros Mouselimis [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'ClusterR']. October 8, 2016</ref>:
#** для задания метрики между элементами кластеризуемого множества передаётся строка, задающая одну из реализованных в алгоритме метрик. Данный подход теряет одно из преимуществ алгоритма PAM, позволяющее в качестве матрицы расстояний использовать произвольную матрицу различий.
#:
#:
# Последовательная реализация алгоритма PAM в пакете Cluster на языке R:
#* Лицензия: GPL (≥2)
#* [https://cran.r-project.org/package=cluster веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'pam()'. Данная реализация имеет следующие особенности <ref>Martin Maechler., etc. [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'cluster']. October 8, 2016</ref>:
#** функция может принимать на вход не множество точек, а матрицу расстояний между ними;
#** реализация более гибкая, так как принимает на вход матрицу различий элементов, а не использует какую-либо метрику;
#** может быть предоставлено графическое отображение.
#:
#:
#:
# Параллельная реализация алгоритма PAM в пакете SPRINT (Simple Parallel R INTerface - параллельный фреймворк) на языке R:
#* Лицензия: GPL (≥3)
#* [https://cran.r-project.org/package=sprint веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в фукции 'ppam()'. Входные параметры данной функции схожи с параметрами, задаваемыми в линейной реализации 'pam()' пакета Cluster языка R. Отличительной особенностью является подача на вход предвычисленной матрицы расстояний (например, с помощью функции 'pcor()' из этой же библиотеки).<ref>University of Edinburgh SPRINT Team. [https://cran.r-project.org/web/packages/sprint/sprint.pdf Package 'sprint']. February 20, 2015</ref>
#:
#:
# Параллельная реализация алгоритма PAM на основе операций MapReduce на Hadoop кластере.
#* В рамках исследования по ускорению анализа информации о геноме были созданы реализации алгоритма PAM с использованием технологии MPI и технологии MapReduce. Реализация в открытом досупе отсутствует. <ref>[Dobrzelecki B. et al. Managing and analysing Genomic Data using HPC and Clouds //Grid and Cloud Database Management. – Springer Berlin Heidelberg, 2011. – С. 261-277.</ref>

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-15T19:02:35Z

Гусева Юлия:

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-15T19:02:13Z

Гусева Юлия:

{{Assignment}}

Основные авторы описания: [[Участник:Тодуа_АнтонТодуа | А.Р.]],[[Участник:Гусева_Юлия |Гусева Ю.В.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм ''PAM'' (Partitioning Around Medoids) был предложен Чарли Кауфаманом (Charlie Kaufman) и Питером Русивом (Peter Rousseeuw) в 1987<ref>Kaufman, L. and P.J. Rousseeuw, Clustering by means of medoids, in: Y. Dodge (Ed.), Statistical Data Analysis based on the L1 Norm (North-Holland, Amsterdam, 1987) 405 — 416.</ref>. Алгоритм является одним из распространённых вариантов реализации <math>k</math>-medoids.

''PAM'' используется для выполнения кластеризации[https://en.wikipedia.org/wiki/Hierarchical_clustering] объектов — процесса автоматического разбиения некоторого множества объектов на кластеры (множества) на основе их схожести (наиболее схожие объекты, как правило, располагаются в одном кластере). В качестве исходных данных алгоритму необходима симметрическая матрица с нолями на главной диагонали (dissimilarity matrix), задающая расстояние (в смысле похожести) между объектами, для которых выполняется кластеризация и число кластеров, по которым следует распределить объекты. Стоит отметить, что не все алгоритмы кластеризации требует задания количества кластеров, например, методы иерархической[https://en.wikipedia.org/wiki/Hierarchical_clustering] кластеризации свободны от данного ограничения.

Алгоритм ''PAM'' для каждого кластера в качестве его характерного представителя выбирает наиболее подходящий из объектов кластеризации. Выбранные объекты называются медоидами (medoids). Алгоритм состоит из двух стадий. Первая стадия – ''BUILD'' предназначена для выбора исходного множества медоидов. Вторая стадия – ''SWAP'' является итерационной. На каждой итерации стадии ''SWAP'' алгоритм пытается улучшить выбранное множество медоидов с помощью выполнения операции ''обмена'', которая представляет собой замену одного медоида на один из объектов кластеризации. Алгоритм завершает свою работу, когда ни один из возможных обменов не позволяет улучшить разбиение на кластеры. Часто на практике, условием завершения работы алгоритма также является момент, когда наилучшее возможное улучшение кластеризации меньше заранее выбранной пороговой величины. Введение данной величины позволяет сократить число итераций. Последнее, однако, снижает качество кластеризации (иногда незначительно).

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет расстояние от <math>i</math>-го объекта до каждого из остальных объектов
* Требуемое число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. Все медоиды относится к разных кластерам и являются их характерными представителями. Кластеры остальных объектов (не медоидов) совпадают с кластером ближайшего к ним медоида. Ближайший к <math>i</math>-му объекту медоид будем коротко назвать медоидом <math>i</math>-го объекта. Выбор медоидов осуществляется исходя из минимизации среднего расстояния (average dissimilarity) между объектами внутри одного кластера. От минимизации среднего расстояния можно перейти к минимизации суммы расстояний от объектов до их медоидов. Такой переход не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления. Стоит отметить, что в общем случае расстояние между объектами следует понимать как меру похожести (similarity) объектов.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида, в результате ''обмена'' <math>i</math>-го медоида на <math>h</math>-й объект

Под ''обменом'' <math>i</math>-го медоида на <math>h</math>-й объект будем понимать операцию, в результате которой <math>i</math>-й медоид перестаёт быть медоидом, а <math>h</math>-й объект выбирается в качестве медоида:
:<math>
\begin{align}
S & = S - \{i\} + \{h\} \\
U & = U - \{h\} + \{i\}
\end{align}
</math>

Перед выполнением алгоритма множество <math>U</math>содержит все объекты кластеризации, а множество <math>S</math> – пусто. Описание значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления будет дано при описании макроструктуры алгоритма.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, сумма расстояний от которого до всех остальных объектов минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения ''обмена''. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math>-го медоида и <math>h</math>-го объекта. В противном случае дальнейшее улучшение кластеризации с помощью ''обмена'' невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов. Как было сказано <math>j</math>-й объект лежит в том же кластере, что и его медоид: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

Для описания значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления введём следующие обозначения (в дополнение к обозначениям, введённым в математическом описании алгоритма):
* <math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
* <math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Очевидно, что для любых объектов верно неравенство <math>D_{i} <= E_{i}</math>. Отметим также, что значения <math>D_{i}</math> и <math>E_{i}</math> могут меняться при изменениях в множествах <math>U</math> и <math>S</math>, следовательно они должны пересчитываться после добавления нового медоида или выполнения операции ''обмена''.

Значение <math>C_{ij}</math> представляет собой число, на которое уменьшается значение <math>D_{j}</math> в результате выбора <math>i</math>-го объекта в качестве медоида. Очевидно, что данное значение всегда неотрицательно. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} <= d_{ij}</math>, величина <math>D_{j}</math> не изменится, т.к. ближайший к <math>j</math>-му объекту медоид останется на том же расстоянии от него, следовательно будет справедливо равенство <math>C_{ij} = 0</math>. Во втором случае, когда <math>D_{j} > d_{ij}</math>, ближайшим к <math>j</math>-му объекту медоидом станет новый выбранный медоид (<math>i</math>-ый объект), следовательно будет справедливо равенство <math>C_{ij} = D_{j} - d_{ij}</math>.
[[file:PAM_Cij.png|thumb|center|300px|Вычисление значения <math>C_{ij}</math>]]

Значение <math>T_{ijh}</math> представляет собой число, которое добавляется к значению <math>D_{j}</math> в результате выполнения операции ''обмена'' <math>i</math>-го медоида и <math>h</math>-го объекта. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} = d_{ij}</math> (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) может быть два варианта: <math>E_{j} <= d_{jh}</math> (медоидом <math>j</math>-го объекта станет второго ближайший к нему медоид), тогда справедливо равенство <math>T_{ijh} = E_{j} - D_{j}</math> и <math>E_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Во втором случае, когда <math>D_{j} != d_{ij}</math> (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) также может быть два варианта: <math>D_{j} <= d_{jh}</math> (медоид <math>j</math>-го объекта не изменится), тогда справедливо равенство <math>T_{ijh} = 0</math> и <math>D_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Таким образом, в первом случае (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) значение <math>T_{ijh}</math> может быть вычислено по формуле <math>T_{ijh} = min(E_{j}, d_{jh}) - D_{j}</math>, а во втором (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) – по формуле <math>T_{ijh} = min(d_{jh} - D_{j}, 0)</math>.
[[file:PAM_Tijh.png|thumb|center|550px|Вычисление значения <math>T_{ijh}</math>]]

=== Схема реализации последовательного алгоритма ===

В соответствии с математическим описанием алгоритм включает две стадии ''BUILD'' и ''SWAP''. Рассмотрим реализацию каждой стадии. При описании реализации последовательного алгоритма на псевдокоде будем считать, что в программе поддерживаются следующие переменные:
<math>d_{ij}</math> – расстояние между <math>i</math>-м и <math>j</math>-м объектами
<math>K</math> – требуемое число кластеров
<math>O</math> – множество всех объектов
<math>S</math> – множество медоидов
<math>U</math> – множество всех объектов, кроме медоидов <math>U = O - S</math>
<math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
<math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Значения <math>D_{i}</math> и <math>E_{i}</math> необходимо поддерживать для вычисления значений <math>C_{ij}</math> и <math>T_{ijh}</math>.

Реализация стадии ''BUILD'':
<math>S = </math>∅
Добавить в <math>S</math> объект <math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>
<math>U = O - S</math>
Начало цикла от <math>1</math> до <math>K-1</math>
Добавить к <math>S</math> объект <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>
<math>U = O - S</math>
Конец цикла

Реализация стадии ''SWAP'':
Начало цикла с постусловием
Вычислить значения <math>D_{i}, E_{i}</math> для всех объектов из множества <math>U</math>
Вычислить пару <math>i</math> и <math>h</math>: <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>
Если <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>, то выполнить обмен:
Добавить в <math>S</math> объект <math>h</math> и убрать объект <math>i</math>
Добавить в <math>U</math> объект <math>i</math> и убрать объект <math>h</math>
Конец цикла с постусловием <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>

Реализация алгоритма в соответствии с данной схемой доступа на github[https://github.com/al-pacino/Clustering/blob/master/pam.cpp].

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм ''PAM'' к алгоритмам с квадратичной сложностью по количеству <math>N</math> объектов.

=== Информационный граф ===

Ниже представлены информационные графы для стадий ''BUILD'' и ''SWAP'', они хорошо отражают параллельную структуру алгоритма.

[[file:PAM_graph_build.png|thumb|center|600px|Информационный граф выбора медоида стадии ''BUILD'']]

[[file:PAM_graph_swap.png|thumb|center|600px|Информационный граф одной итерации стадии ''SWAP'']]

=== Ресурс параллелизма алгоритма ===

Исходя из предположения неограниченности ресурсов будем считать, что в нашем распоряжении имеется <math>N * K</math> вычислительных ядер, память каждого из которых целиком содержит матрицу расстояния <math>D</math>.

Стадия ''BUILD'' состоит из выбора начального (центрального) медоида и выбора <math>K - 1</math> оставшихся медоидов. Для выбора медоида требуется вычисления <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math> (<math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>) для всех не выбранных объектов (из множества <math>U</math>). Сумму в операции <math>arg\max</math> (<math>arg\min</math>) можно считать независимо на разных ядрах, поэтому сложность выбора одного медоида на стадии ''BUILD'' можно сократить с <math>O(N^2)</math> до <math>O(N)</math> (сложность вычисления суммы на одном ядре). Выбор одного медоида на стадии ''BUILD'' осуществляется <math>K</math> раз, следовательно, сложность параллельной реализации стадии ''BUILD'' (в соответствии с данным описанием) будет равна <math>O(K * N)</math>. Также стоит отметить, что для выполнения стадии ''BUILD'' описанным выше образом, достаточно задействовать лишь <math>N</math> вычислительных ядер, а не <math>N * K</math>.

Проведём аналогичные рассуждения для одной итерации стадии ''SWAP''. Выполнение одной итерации требует вычисления <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math> для каждой пары медоида и объекта. Сумму в операции <math>arg\min</math> можно считать независимо на разных ядрах, поэтому сложность одной итерации стадии ''SWAP'' можно сократить с <math>O(K * N^2)</math> до <math>O(N)</math> если задействовать <math>N * K</math> вычислительных ядер. Если в нашем распоряжении есть только <math>N</math> вычислительных ядер, то сложность операции одной итерации стадии ''SWAP'' будет равна <math>O(K * N)</math>.

В результате проведённых рассуждений можно сделать вывод о том, что сложность параллельной реализации алгоритма является линейной по числу объектов кластеризации <math>O(K * N)</math> против квадратичной сложности <math>O(K * N^2)</math> в последовательном случае.

=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица расстояния (в смысле непохожести) между объектами кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
<math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
<math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов)

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в предположении о неограниченности ресурсов в описанном выше случае является линейным (отношение квадратичной сложности к линейной).

'''Основные достоинства алгоритма ''PAM''''':
* Менее чувствителен к выбросам, чем алгоритм <math>k</math>-средних
* Достаточно прост с точки зрения реализации
* Устойчив, поскольку не накапливает ошибок в процессе своей работы
* Возможно распараллеливание

'''Основные недостатки алгоритма ''PAM''''':
* Необходимо задание требуемого числа кластеров
* Квадратичную вычислительная сложность

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

''Срок сдачи продлён до 15-го ноября.''


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

# Последовательная реализация алгоритма PAM в пакете ClusterR на языке R:
#* Лицензия: MIT
#* [https://cran.r-project.org/package=ClusterR веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'Cluster_Medoids'. Отличительная особенность реализации <ref>Lampros Mouselimis [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'ClusterR']. October 8, 2016</ref>:
#** для задания метрики между элементами кластеризуемого множества передаётся строка, задающая одну из реализованных в алгоритме метрик. Данный подход теряет одно из преимуществ алгоритма PAM, позволяющее в качестве матрицы расстояний использовать произвольную матрицу различий.
#:
#:
# Последовательная реализация алгоритма PAM в пакете Cluster на языке R:
#* Лицензия: GPL (≥2)
#* [https://cran.r-project.org/package=cluster веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'pam()'. Данная реализация имеет следующие особенности <ref>Martin Maechler., etc. [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'cluster']. October 8, 2016</ref>:
#** функция может принимать на вход не множество точек, а матрицу расстояний между ними;
#** реализация более гибкая, так как принимает на вход матрицу различий элементов, а не использует какую-либо метрику;
#** может быть предоставлено графическое отображение.
#:
#:
#:
# Параллельная реализация алгоритма PAM в пакете SPRINT (Simple Parallel R INTerface - параллельный фреймворк) на языке R:
#* Лицензия: GPL (≥3)
#* [https://cran.r-project.org/package=sprint веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в фукции 'ppam()'. Входные параметры данной функции схожи с параметрами, задаваемыми в линейной реализации 'pam()' пакета Cluster языка R. Отличительной особенностью является подача на вход предвычисленной матрицы расстояний (например, с помощью функции 'pcor()' из этой же библиотеки).<ref>University of Edinburgh SPRINT Team. [https://cran.r-project.org/web/packages/sprint/sprint.pdf Package 'sprint']. February 20, 2015</ref>
#:
#:
# Параллельная реализация алгоритма PAM на основе операций MapReduce на Hadoop кластере.
#* В рамках исследования по ускорению анализа информации о геноме были созданы реализации алгоритма PAM с использованием технологии MPI и технологии MapReduce. Реализация в открытом досупе отсутствует. <ref>[Dobrzelecki B. et al. Managing and analysing Genomic Data using HPC and Clouds //Grid and Cloud Database Management. – Springer Berlin Heidelberg, 2011. – С. 261-277.</ref>

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-15T18:53:37Z

Гусева Юлия:

{{Assignment}}

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм ''PAM'' (Partitioning Around Medoids) был предложен Чарли Кауфаманом (Charlie Kaufman) и Питером Русивом (Peter Rousseeuw) в 1987<ref>Kaufman, L. and P.J. Rousseeuw, Clustering by means of medoids, in: Y. Dodge (Ed.), Statistical Data Analysis based on the L1 Norm (North-Holland, Amsterdam, 1987) 405 — 416.</ref>. Алгоритм является одним из распространённых вариантов реализации <math>k</math>-medoids.

''PAM'' используется для выполнения кластеризации[https://en.wikipedia.org/wiki/Hierarchical_clustering] объектов — процесса автоматического разбиения некоторого множества объектов на кластеры (множества) на основе их схожести (наиболее схожие объекты, как правило, располагаются в одном кластере). В качестве исходных данных алгоритму необходима симметрическая матрица с нолями на главной диагонали (dissimilarity matrix), задающая расстояние (в смысле похожести) между объектами, для которых выполняется кластеризация и число кластеров, по которым следует распределить объекты. Стоит отметить, что не все алгоритмы кластеризации требует задания количества кластеров, например, методы иерархической[https://en.wikipedia.org/wiki/Hierarchical_clustering] кластеризации свободны от данного ограничения.

Алгоритм ''PAM'' для каждого кластера в качестве его характерного представителя выбирает наиболее подходящий из объектов кластеризации. Выбранные объекты называются медоидами (medoids). Алгоритм состоит из двух стадий. Первая стадия – ''BUILD'' предназначена для выбора исходного множества медоидов. Вторая стадия – ''SWAP'' является итерационной. На каждой итерации стадии ''SWAP'' алгоритм пытается улучшить выбранное множество медоидов с помощью выполнения операции ''обмена'', которая представляет собой замену одного медоида на один из объектов кластеризации. Алгоритм завершает свою работу, когда ни один из возможных обменов не позволяет улучшить разбиение на кластеры. Часто на практике, условием завершения работы алгоритма также является момент, когда наилучшее возможное улучшение кластеризации меньше заранее выбранной пороговой величины. Введение данной величины позволяет сократить число итераций. Последнее, однако, снижает качество кластеризации (иногда незначительно).

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет расстояние от <math>i</math>-го объекта до каждого из остальных объектов
* Требуемое число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. Все медоиды относится к разных кластерам и являются их характерными представителями. Кластеры остальных объектов (не медоидов) совпадают с кластером ближайшего к ним медоида. Ближайший к <math>i</math>-му объекту медоид будем коротко назвать медоидом <math>i</math>-го объекта. Выбор медоидов осуществляется исходя из минимизации среднего расстояния (average dissimilarity) между объектами внутри одного кластера. От минимизации среднего расстояния можно перейти к минимизации суммы расстояний от объектов до их медоидов. Такой переход не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления. Стоит отметить, что в общем случае расстояние между объектами следует понимать как меру похожести (similarity) объектов.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида, в результате ''обмена'' <math>i</math>-го медоида на <math>h</math>-й объект

Под ''обменом'' <math>i</math>-го медоида на <math>h</math>-й объект будем понимать операцию, в результате которой <math>i</math>-й медоид перестаёт быть медоидом, а <math>h</math>-й объект выбирается в качестве медоида:
:<math>
\begin{align}
S & = S - \{i\} + \{h\} \\
U & = U - \{h\} + \{i\}
\end{align}
</math>

Перед выполнением алгоритма множество <math>U</math>содержит все объекты кластеризации, а множество <math>S</math> – пусто. Описание значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления будет дано при описании макроструктуры алгоритма.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, сумма расстояний от которого до всех остальных объектов минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения ''обмена''. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math>-го медоида и <math>h</math>-го объекта. В противном случае дальнейшее улучшение кластеризации с помощью ''обмена'' невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов. Как было сказано <math>j</math>-й объект лежит в том же кластере, что и его медоид: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

Для описания значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления введём следующие обозначения (в дополнение к обозначениям, введённым в математическом описании алгоритма):
* <math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
* <math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Очевидно, что для любых объектов верно неравенство <math>D_{i} <= E_{i}</math>. Отметим также, что значения <math>D_{i}</math> и <math>E_{i}</math> могут меняться при изменениях в множествах <math>U</math> и <math>S</math>, следовательно они должны пересчитываться после добавления нового медоида или выполнения операции ''обмена''.

Значение <math>C_{ij}</math> представляет собой число, на которое уменьшается значение <math>D_{j}</math> в результате выбора <math>i</math>-го объекта в качестве медоида. Очевидно, что данное значение всегда неотрицательно. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} <= d_{ij}</math>, величина <math>D_{j}</math> не изменится, т.к. ближайший к <math>j</math>-му объекту медоид останется на том же расстоянии от него, следовательно будет справедливо равенство <math>C_{ij} = 0</math>. Во втором случае, когда <math>D_{j} > d_{ij}</math>, ближайшим к <math>j</math>-му объекту медоидом станет новый выбранный медоид (<math>i</math>-ый объект), следовательно будет справедливо равенство <math>C_{ij} = D_{j} - d_{ij}</math>.
[[file:PAM_Cij.png|thumb|center|300px|Вычисление значения <math>C_{ij}</math>]]

Значение <math>T_{ijh}</math> представляет собой число, которое добавляется к значению <math>D_{j}</math> в результате выполнения операции ''обмена'' <math>i</math>-го медоида и <math>h</math>-го объекта. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} = d_{ij}</math> (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) может быть два варианта: <math>E_{j} <= d_{jh}</math> (медоидом <math>j</math>-го объекта станет второго ближайший к нему медоид), тогда справедливо равенство <math>T_{ijh} = E_{j} - D_{j}</math> и <math>E_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Во втором случае, когда <math>D_{j} != d_{ij}</math> (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) также может быть два варианта: <math>D_{j} <= d_{jh}</math> (медоид <math>j</math>-го объекта не изменится), тогда справедливо равенство <math>T_{ijh} = 0</math> и <math>D_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Таким образом, в первом случае (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) значение <math>T_{ijh}</math> может быть вычислено по формуле <math>T_{ijh} = min(E_{j}, d_{jh}) - D_{j}</math>, а во втором (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) – по формуле <math>T_{ijh} = min(d_{jh} - D_{j}, 0)</math>.
[[file:PAM_Tijh.png|thumb|center|550px|Вычисление значения <math>T_{ijh}</math>]]

=== Схема реализации последовательного алгоритма ===

В соответствии с математическим описанием алгоритм включает две стадии ''BUILD'' и ''SWAP''. Рассмотрим реализацию каждой стадии. При описании реализации последовательного алгоритма на псевдокоде будем считать, что в программе поддерживаются следующие переменные:
<math>d_{ij}</math> – расстояние между <math>i</math>-м и <math>j</math>-м объектами
<math>K</math> – требуемое число кластеров
<math>O</math> – множество всех объектов
<math>S</math> – множество медоидов
<math>U</math> – множество всех объектов, кроме медоидов <math>U = O - S</math>
<math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
<math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Значения <math>D_{i}</math> и <math>E_{i}</math> необходимо поддерживать для вычисления значений <math>C_{ij}</math> и <math>T_{ijh}</math>.

Реализация стадии ''BUILD'':
<math>S = </math>∅
Добавить в <math>S</math> объект <math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>
<math>U = O - S</math>
Начало цикла от <math>1</math> до <math>K-1</math>
Добавить к <math>S</math> объект <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>
<math>U = O - S</math>
Конец цикла

Реализация стадии ''SWAP'':
Начало цикла с постусловием
Вычислить значения <math>D_{i}, E_{i}</math> для всех объектов из множества <math>U</math>
Вычислить пару <math>i</math> и <math>h</math>: <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>
Если <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>, то выполнить обмен:
Добавить в <math>S</math> объект <math>h</math> и убрать объект <math>i</math>
Добавить в <math>U</math> объект <math>i</math> и убрать объект <math>h</math>
Конец цикла с постусловием <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>

Реализация алгоритма в соответствии с данной схемой доступа на github[https://github.com/al-pacino/Clustering/blob/master/pam.cpp].

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм ''PAM'' к алгоритмам с квадратичной сложностью по количеству <math>N</math> объектов.

=== Информационный граф ===

Ниже представлены информационные графы для стадий ''BUILD'' и ''SWAP'', они хорошо отражают параллельную структуру алгоритма.

[[file:PAM_graph_build.png|thumb|center|600px|Информационный граф выбора медоида стадии ''BUILD'']]

[[file:PAM_graph_swap.png|thumb|center|600px|Информационный граф одной итерации стадии ''SWAP'']]

=== Ресурс параллелизма алгоритма ===

Исходя из предположения неограниченности ресурсов будем считать, что в нашем распоряжении имеется <math>N * K</math> вычислительных ядер, память каждого из которых целиком содержит матрицу расстояния <math>D</math>.

Стадия ''BUILD'' состоит из выбора начального (центрального) медоида и выбора <math>K - 1</math> оставшихся медоидов. Для выбора медоида требуется вычисления <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math> (<math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>) для всех не выбранных объектов (из множества <math>U</math>). Сумму в операции <math>arg\max</math> (<math>arg\min</math>) можно считать независимо на разных ядрах, поэтому сложность выбора одного медоида на стадии ''BUILD'' можно сократить с <math>O(N^2)</math> до <math>O(N)</math> (сложность вычисления суммы на одном ядре). Выбор одного медоида на стадии ''BUILD'' осуществляется <math>K</math> раз, следовательно, сложность параллельной реализации стадии ''BUILD'' (в соответствии с данным описанием) будет равна <math>O(K * N)</math>. Также стоит отметить, что для выполнения стадии ''BUILD'' описанным выше образом, достаточно задействовать лишь <math>N</math> вычислительных ядер, а не <math>N * K</math>.

Проведём аналогичные рассуждения для одной итерации стадии ''SWAP''. Выполнение одной итерации требует вычисления <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math> для каждой пары медоида и объекта. Сумму в операции <math>arg\min</math> можно считать независимо на разных ядрах, поэтому сложность одной итерации стадии ''SWAP'' можно сократить с <math>O(K * N^2)</math> до <math>O(N)</math> если задействовать <math>N * K</math> вычислительных ядер. Если в нашем распоряжении есть только <math>N</math> вычислительных ядер, то сложность операции одной итерации стадии ''SWAP'' будет равна <math>O(K * N)</math>.

В результате проведённых рассуждений можно сделать вывод о том, что сложность параллельной реализации алгоритма является линейной по числу объектов кластеризации <math>O(K * N)</math> против квадратичной сложности <math>O(K * N^2)</math> в последовательном случае.

=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица расстояния (в смысле непохожести) между объектами кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
<math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
<math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов)

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в предположении о неограниченности ресурсов в описанном выше случае является линейным (отношение квадратичной сложности к линейной).

'''Основные достоинства алгоритма ''PAM''''':
* Менее чувствителен к выбросам, чем алгоритм <math>k</math>-средних
* Достаточно прост с точки зрения реализации
* Устойчив, поскольку не накапливает ошибок в процессе своей работы
* Возможно распараллеливание

'''Основные недостатки алгоритма ''PAM''''':
* Необходимо задание требуемого числа кластеров
* Квадратичную вычислительная сложность

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

''Срок сдачи продлён до 15-го ноября.''


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

# Последовательная реализация алгоритма PAM в пакете ClusterR на языке R:
#* Лицензия: MIT
#* [https://cran.r-project.org/package=ClusterR веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'Cluster_Medoids'. Отличительная особенность реализации <ref>Lampros Mouselimis [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'ClusterR']. October 8, 2016</ref>:
#** для задания метрики между элементами кластеризуемого множества передаётся строка, задающая одну из реализованных в алгоритме метрик. Данный подход теряет одно из преимуществ алгоритма PAM, позволяющее в качестве матрицы расстояний использовать произвольную матрицу различий.
#:
#:
# Последовательная реализация алгоритма PAM в пакете Cluster на языке R:
#* Лицензия: GPL (≥2)
#* [https://cran.r-project.org/package=cluster веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'pam()'. Данная реализация имеет следующие особенности <ref>Martin Maechler., etc. [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'cluster']. October 8, 2016</ref>:
#** функция может принимать на вход не множество точек, а матрицу расстояний между ними;
#** реализация более гибкая, так как принимает на вход матрицу различий элементов, а не использует какую-либо метрику;
#** может быть предоставлено графическое отображение.
#:
#:
#:
# Параллельная реализация алгоритма PAM в пакете SPRINT (Simple Parallel R INTerface - параллельный фреймворк) на языке R:
#* Лицензия: GPL (≥3)
#* [https://cran.r-project.org/package=sprint веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в фукции 'ppam()'. Входные параметры данной функции схожи с параметрами, задаваемыми в линейной реализации 'pam()' пакета Cluster языка R. Отличительной особенностью является подача на вход предвычисленной матрицы расстояний (например, с помощью функции 'pcor()' из этой же библиотеки).<ref>University of Edinburgh SPRINT Team. [https://cran.r-project.org/web/packages/sprint/sprint.pdf Package 'sprint']. February 20, 2015</ref>
#:
#:
# Параллельная реализация алгоритма PAM на основе операций MapReduce на Hadoop кластере.
#* В рамках исследования по ускорению анализа информации о геноме были созданы реализации алгоритма PAM с использованием технологии MPI и технологии MapReduce. Реализация в открытом досупе отсутствует. <ref>[Dobrzelecki B. et al. Managing and analysing Genomic Data using HPC and Clouds //Grid and Cloud Database Management. – Springer Berlin Heidelberg, 2011. – С. 261-277.</ref>

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-15T18:53:11Z

Гусева Юлия:

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.
{{Assignment}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм ''PAM'' (Partitioning Around Medoids) был предложен Чарли Кауфаманом (Charlie Kaufman) и Питером Русивом (Peter Rousseeuw) в 1987<ref>Kaufman, L. and P.J. Rousseeuw, Clustering by means of medoids, in: Y. Dodge (Ed.), Statistical Data Analysis based on the L1 Norm (North-Holland, Amsterdam, 1987) 405 — 416.</ref>. Алгоритм является одним из распространённых вариантов реализации <math>k</math>-medoids.

''PAM'' используется для выполнения кластеризации[https://en.wikipedia.org/wiki/Hierarchical_clustering] объектов — процесса автоматического разбиения некоторого множества объектов на кластеры (множества) на основе их схожести (наиболее схожие объекты, как правило, располагаются в одном кластере). В качестве исходных данных алгоритму необходима симметрическая матрица с нолями на главной диагонали (dissimilarity matrix), задающая расстояние (в смысле похожести) между объектами, для которых выполняется кластеризация и число кластеров, по которым следует распределить объекты. Стоит отметить, что не все алгоритмы кластеризации требует задания количества кластеров, например, методы иерархической[https://en.wikipedia.org/wiki/Hierarchical_clustering] кластеризации свободны от данного ограничения.

Алгоритм ''PAM'' для каждого кластера в качестве его характерного представителя выбирает наиболее подходящий из объектов кластеризации. Выбранные объекты называются медоидами (medoids). Алгоритм состоит из двух стадий. Первая стадия – ''BUILD'' предназначена для выбора исходного множества медоидов. Вторая стадия – ''SWAP'' является итерационной. На каждой итерации стадии ''SWAP'' алгоритм пытается улучшить выбранное множество медоидов с помощью выполнения операции ''обмена'', которая представляет собой замену одного медоида на один из объектов кластеризации. Алгоритм завершает свою работу, когда ни один из возможных обменов не позволяет улучшить разбиение на кластеры. Часто на практике, условием завершения работы алгоритма также является момент, когда наилучшее возможное улучшение кластеризации меньше заранее выбранной пороговой величины. Введение данной величины позволяет сократить число итераций. Последнее, однако, снижает качество кластеризации (иногда незначительно).

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет расстояние от <math>i</math>-го объекта до каждого из остальных объектов
* Требуемое число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. Все медоиды относится к разных кластерам и являются их характерными представителями. Кластеры остальных объектов (не медоидов) совпадают с кластером ближайшего к ним медоида. Ближайший к <math>i</math>-му объекту медоид будем коротко назвать медоидом <math>i</math>-го объекта. Выбор медоидов осуществляется исходя из минимизации среднего расстояния (average dissimilarity) между объектами внутри одного кластера. От минимизации среднего расстояния можно перейти к минимизации суммы расстояний от объектов до их медоидов. Такой переход не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления. Стоит отметить, что в общем случае расстояние между объектами следует понимать как меру похожести (similarity) объектов.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение расстояния от <math>j</math>-го объекта до его медоида, в результате ''обмена'' <math>i</math>-го медоида на <math>h</math>-й объект

Под ''обменом'' <math>i</math>-го медоида на <math>h</math>-й объект будем понимать операцию, в результате которой <math>i</math>-й медоид перестаёт быть медоидом, а <math>h</math>-й объект выбирается в качестве медоида:
:<math>
\begin{align}
S & = S - \{i\} + \{h\} \\
U & = U - \{h\} + \{i\}
\end{align}
</math>

Перед выполнением алгоритма множество <math>U</math>содержит все объекты кластеризации, а множество <math>S</math> – пусто. Описание значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления будет дано при описании макроструктуры алгоритма.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, сумма расстояний от которого до всех остальных объектов минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения ''обмена''. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math>-го медоида и <math>h</math>-го объекта. В противном случае дальнейшее улучшение кластеризации с помощью ''обмена'' невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов. Как было сказано <math>j</math>-й объект лежит в том же кластере, что и его медоид: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

Для описания значений <math>C_{ij}</math> и <math>T_{ijh}</math> и способа их вычисления введём следующие обозначения (в дополнение к обозначениям, введённым в математическом описании алгоритма):
* <math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
* <math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Очевидно, что для любых объектов верно неравенство <math>D_{i} <= E_{i}</math>. Отметим также, что значения <math>D_{i}</math> и <math>E_{i}</math> могут меняться при изменениях в множествах <math>U</math> и <math>S</math>, следовательно они должны пересчитываться после добавления нового медоида или выполнения операции ''обмена''.

Значение <math>C_{ij}</math> представляет собой число, на которое уменьшается значение <math>D_{j}</math> в результате выбора <math>i</math>-го объекта в качестве медоида. Очевидно, что данное значение всегда неотрицательно. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} <= d_{ij}</math>, величина <math>D_{j}</math> не изменится, т.к. ближайший к <math>j</math>-му объекту медоид останется на том же расстоянии от него, следовательно будет справедливо равенство <math>C_{ij} = 0</math>. Во втором случае, когда <math>D_{j} > d_{ij}</math>, ближайшим к <math>j</math>-му объекту медоидом станет новый выбранный медоид (<math>i</math>-ый объект), следовательно будет справедливо равенство <math>C_{ij} = D_{j} - d_{ij}</math>.
[[file:PAM_Cij.png|thumb|center|300px|Вычисление значения <math>C_{ij}</math>]]

Значение <math>T_{ijh}</math> представляет собой число, которое добавляется к значению <math>D_{j}</math> в результате выполнения операции ''обмена'' <math>i</math>-го медоида и <math>h</math>-го объекта. Для вычисления <math>C_{ij}</math> следует рассмотреть два случая. В первом случае, когда <math>D_{j} = d_{ij}</math> (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) может быть два варианта: <math>E_{j} <= d_{jh}</math> (медоидом <math>j</math>-го объекта станет второго ближайший к нему медоид), тогда справедливо равенство <math>T_{ijh} = E_{j} - D_{j}</math> и <math>E_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Во втором случае, когда <math>D_{j} != d_{ij}</math> (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) также может быть два варианта: <math>D_{j} <= d_{jh}</math> (медоид <math>j</math>-го объекта не изменится), тогда справедливо равенство <math>T_{ijh} = 0</math> и <math>D_{j} > d_{jh}</math> (медоидом <math>j</math>-го объекта станет <math>h</math>-й объект), тогда справедливо равенство <math>T_{ijh} = d_{jh} - D_{j}</math>. Таким образом, в первом случае (<math>i</math>-й объект является медоидом <math>j</math>-го объекта) значение <math>T_{ijh}</math> может быть вычислено по формуле <math>T_{ijh} = min(E_{j}, d_{jh}) - D_{j}</math>, а во втором (<math>i</math>-й объект НЕ является медоидом <math>j</math>-го объекта) – по формуле <math>T_{ijh} = min(d_{jh} - D_{j}, 0)</math>.
[[file:PAM_Tijh.png|thumb|center|550px|Вычисление значения <math>T_{ijh}</math>]]

=== Схема реализации последовательного алгоритма ===

В соответствии с математическим описанием алгоритм включает две стадии ''BUILD'' и ''SWAP''. Рассмотрим реализацию каждой стадии. При описании реализации последовательного алгоритма на псевдокоде будем считать, что в программе поддерживаются следующие переменные:
<math>d_{ij}</math> – расстояние между <math>i</math>-м и <math>j</math>-м объектами
<math>K</math> – требуемое число кластеров
<math>O</math> – множество всех объектов
<math>S</math> – множество медоидов
<math>U</math> – множество всех объектов, кроме медоидов <math>U = O - S</math>
<math>D_{i}</math> – расстояние от <math>i</math>-го объекта до его медоида
<math>E_{i}</math> – расстояние от <math>i</math>-го объекта до второго ближайшего к нему медоида

Значения <math>D_{i}</math> и <math>E_{i}</math> необходимо поддерживать для вычисления значений <math>C_{ij}</math> и <math>T_{ijh}</math>.

Реализация стадии ''BUILD'':
<math>S = </math>∅
Добавить в <math>S</math> объект <math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>
<math>U = O - S</math>
Начало цикла от <math>1</math> до <math>K-1</math>
Добавить к <math>S</math> объект <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>
<math>U = O - S</math>
Конец цикла

Реализация стадии ''SWAP'':
Начало цикла с постусловием
Вычислить значения <math>D_{i}, E_{i}</math> для всех объектов из множества <math>U</math>
Вычислить пару <math>i</math> и <math>h</math>: <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>
Если <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>, то выполнить обмен:
Добавить в <math>S</math> объект <math>h</math> и убрать объект <math>i</math>
Добавить в <math>U</math> объект <math>i</math> и убрать объект <math>h</math>
Конец цикла с постусловием <math>\sum_{j \in U - \{h\}} T_{ijh} < 0</math>

Реализация алгоритма в соответствии с данной схемой доступа на github[https://github.com/al-pacino/Clustering/blob/master/pam.cpp].

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм ''PAM'' к алгоритмам с квадратичной сложностью по количеству <math>N</math> объектов.

=== Информационный граф ===

Ниже представлены информационные графы для стадий ''BUILD'' и ''SWAP'', они хорошо отражают параллельную структуру алгоритма.

[[file:PAM_graph_build.png|thumb|center|600px|Информационный граф выбора медоида стадии ''BUILD'']]

[[file:PAM_graph_swap.png|thumb|center|600px|Информационный граф одной итерации стадии ''SWAP'']]

=== Ресурс параллелизма алгоритма ===

Исходя из предположения неограниченности ресурсов будем считать, что в нашем распоряжении имеется <math>N * K</math> вычислительных ядер, память каждого из которых целиком содержит матрицу расстояния <math>D</math>.

Стадия ''BUILD'' состоит из выбора начального (центрального) медоида и выбора <math>K - 1</math> оставшихся медоидов. Для выбора медоида требуется вычисления <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math> (<math>arg\min_{i \in U} \sum_{j \in U} d_{ij}</math>) для всех не выбранных объектов (из множества <math>U</math>). Сумму в операции <math>arg\max</math> (<math>arg\min</math>) можно считать независимо на разных ядрах, поэтому сложность выбора одного медоида на стадии ''BUILD'' можно сократить с <math>O(N^2)</math> до <math>O(N)</math> (сложность вычисления суммы на одном ядре). Выбор одного медоида на стадии ''BUILD'' осуществляется <math>K</math> раз, следовательно, сложность параллельной реализации стадии ''BUILD'' (в соответствии с данным описанием) будет равна <math>O(K * N)</math>. Также стоит отметить, что для выполнения стадии ''BUILD'' описанным выше образом, достаточно задействовать лишь <math>N</math> вычислительных ядер, а не <math>N * K</math>.

Проведём аналогичные рассуждения для одной итерации стадии ''SWAP''. Выполнение одной итерации требует вычисления <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math> для каждой пары медоида и объекта. Сумму в операции <math>arg\min</math> можно считать независимо на разных ядрах, поэтому сложность одной итерации стадии ''SWAP'' можно сократить с <math>O(K * N^2)</math> до <math>O(N)</math> если задействовать <math>N * K</math> вычислительных ядер. Если в нашем распоряжении есть только <math>N</math> вычислительных ядер, то сложность операции одной итерации стадии ''SWAP'' будет равна <math>O(K * N)</math>.

В результате проведённых рассуждений можно сделать вывод о том, что сложность параллельной реализации алгоритма является линейной по числу объектов кластеризации <math>O(K * N)</math> против квадратичной сложности <math>O(K * N^2)</math> в последовательном случае.

=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица расстояния (в смысле непохожести) между объектами кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
<math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
<math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов)

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в предположении о неограниченности ресурсов в описанном выше случае является линейным (отношение квадратичной сложности к линейной).

'''Основные достоинства алгоритма ''PAM''''':
* Менее чувствителен к выбросам, чем алгоритм <math>k</math>-средних
* Достаточно прост с точки зрения реализации
* Устойчив, поскольку не накапливает ошибок в процессе своей работы
* Возможно распараллеливание

'''Основные недостатки алгоритма ''PAM''''':
* Необходимо задание требуемого числа кластеров
* Квадратичную вычислительная сложность

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

''Срок сдачи продлён до 15-го ноября.''


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

# Последовательная реализация алгоритма PAM в пакете ClusterR на языке R:
#* Лицензия: MIT
#* [https://cran.r-project.org/package=ClusterR веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'Cluster_Medoids'. Отличительная особенность реализации <ref>Lampros Mouselimis [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'ClusterR']. October 8, 2016</ref>:
#** для задания метрики между элементами кластеризуемого множества передаётся строка, задающая одну из реализованных в алгоритме метрик. Данный подход теряет одно из преимуществ алгоритма PAM, позволяющее в качестве матрицы расстояний использовать произвольную матрицу различий.
#:
#:
# Последовательная реализация алгоритма PAM в пакете Cluster на языке R:
#* Лицензия: GPL (≥2)
#* [https://cran.r-project.org/package=cluster веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в функции 'pam()'. Данная реализация имеет следующие особенности <ref>Martin Maechler., etc. [https://cran.r-project.org/web/packages/cluster/cluster.pdf Package 'cluster']. October 8, 2016</ref>:
#** функция может принимать на вход не множество точек, а матрицу расстояний между ними;
#** реализация более гибкая, так как принимает на вход матрицу различий элементов, а не использует какую-либо метрику;
#** может быть предоставлено графическое отображение.
#:
#:
#:
# Параллельная реализация алгоритма PAM в пакете SPRINT (Simple Parallel R INTerface - параллельный фреймворк) на языке R:
#* Лицензия: GPL (≥3)
#* [https://cran.r-project.org/package=sprint веб-страница фреймворка (исходный код, системные требования и справочное руководство)]
#* Алгоритм PAM реализован в фукции 'ppam()'. Входные параметры данной функции схожи с параметрами, задаваемыми в линейной реализации 'pam()' пакета Cluster языка R. Отличительной особенностью является подача на вход предвычисленной матрицы расстояний (например, с помощью функции 'pcor()' из этой же библиотеки).<ref>University of Edinburgh SPRINT Team. [https://cran.r-project.org/web/packages/sprint/sprint.pdf Package 'sprint']. February 20, 2015</ref>
#:
#:
# Параллельная реализация алгоритма PAM на основе операций MapReduce на Hadoop кластере.
#* В рамках исследования по ускорению анализа информации о геноме были созданы реализации алгоритма PAM с использованием технологии MPI и технологии MapReduce. Реализация в открытом досупе отсутствует. <ref>[Dobrzelecki B. et al. Managing and analysing Genomic Data using HPC and Clouds //Grid and Cloud Database Management. – Springer Berlin Heidelberg, 2011. – С. 261-277.</ref>

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Гусева Юлия

2016-10-15T18:51:48Z

Гусева Юлия:

Заведение:МГУ

Факультет:ВМК

Форма обучения:магистратура

Курс:2

Учебная группа:611

Участник:Гусева Юлия

2016-10-15T18:50:56Z

Гусева Юлия:

Заведение:МГУ
Факультет:ВМК
Форма обучения:магистратура
Курс:2
Учебная группа:611

Участник:Гусева Юлия

2016-10-15T18:49:12Z

Гусева Юлия: Новая страница: «ВМК МГУ»

ВМК МГУ

Обсуждение участника:Lineprinter

2016-10-15T18:48:11Z

Гусева Юлия: /* Перенос */

== Перенос ==
Статья: [[Кластеризация сетями Кохонена]]
Выполняют: [[Участник:Kravtsovkirill| Кравцов Кирилл]] и [[Участник:Emaksimov| Максимов Егор]]

Статья: [[Нахождение собственных чисел квадратной матрицы методом QR разложения (2)]]
Выполняют: Баев Олег и Шевелев Александр

Статья: [[Стабилизированный метод биспоряженных градиентов (BiCGSTAB)]]
Выполняют: Гаврилов Алексей и Новиков Александр

Статья: [[Участники: Бобошко А., Юмакаева А./Решение начальной задачи Коши для системы ОДУ методом Рунге-Кутта 4-го порядка]];
Выполняют: Бобошко Алексей и Юмакаева Алина

Статья: [[Алгоритм кластеризации, основанный на сетях Кохоннена]];
Выполняют: Логвиненко Александра и Адиев Тохтар

Статья: [[Ортогонализация Грама-Шмидта]];
Выполняют: [[Участник:KibAndrey| Кибанов Андрей]] и Аджиева Татьяна

Статья: [[Самоорганизующиеся карты Кохонена]];
Выполняет: [[Участник:Anton goy| Гой Антон]]

Статья:[[ЕМ-алгоритм_(Тематическое_моделирование)]];
Выполняют: Мурат Апишев и Андрей Заночкин

Статья:[[Алгоритм_Ланцоша_с_полной_переортогонализацией]];
Выполняет:[[Участник:Sfedotov| Федотов С.А.]]

Статья: [[Алгоритм_k-средних]]
Выполняют: [[Участник:Error2407|Богомазов Евгений]], [[Участник:Илья_Егоров|Егоров Илья]]

Статья: [[Алгоритм k-means]]
Выполняют: [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]]

Статья: [[Нечеткий_алгоритм_С_средних]]
Выполняют: [[Участник:Demon smd|Д.А.Гуськов]], [[Участник:marina abramenkova|М.А.Абраменкова]]

Статья: [[Решение_задачи_Коши_для_системы_ОДУ_методом_Рунге-Кутты_4_порядка]];
Выполняют: [[Участник:Алимов_Дамир_Алиевич|Алимов Дамир]] и [[Участник:Anlesnichiy|Антон Лесничий]]

Статья: [[Строгий_алгоритм_С_средних_(Hard_C-Means,_HCM)]];
Выполняют: [[Участник:Светлана_Лукьяненко|Лукьяненко Светлана]] и [[Участник:Юрий_Комаров|Комаров Юрий]]

Статья: [[Алгоритм кластеризации, основанный на минимальном остовном дереве]];
Выполняет: [[Участник:Astandrik | Стандрик Антон Сергеевич]]

Статья: [[Умножение разреженной матрицы на вектор]];
Выполняет: [[Участник:Lexaloris | Новоселов Алексей]], Выполняет: [[Участник:pahom | Кочетков Павел]]

Статья: [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)|Нахождение собственных чисел квадратной матрицы методом QR разложения (3)]];
Выполняют: [[Участник:Смирнова_Александра|Смирнова А.С.]], [[Участник:Александра_Киямова|Киямова А.]]

Статья: [[Метод_Якоби_вычисления_сингулярных_чисел_и_векторов]];
Выполняют: [[Участница:Почернина_Елена| Почернина Елена]] и [[Участница:Светлана|Костюкова Светлана]]

Статья: [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]];
Выполняют: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений]];
Выполняют: [[Участник:Cookie|Шатков С.А.]], [[Участница:JuliaA|Антохина Ю.А.]]

Статья: [[Быстрое_преобразование_Фурье_(FFT)|Быстрое преобразование Фурье (FFT)]];
Выполняют: [[Участник:Victoria_Stepanischeva|Степанищева Виктория]] и [[Участник:Igor_Munkin|Мунькин Игорь]]

Статья: [[Быстрое_дискретное_преобразование_Фурье|Быстрое_дискретное_преобразование_Фурье]];
Выполняют: [[Участник:ivanov.kir.m | К.М.Иванов]], [[Участник:Pumpkin | А.C.Сапин]]

Статья:[[Алгоритм_k_средних]]
Выполняют: [[Участник:Parkhomenko|Пархоменко Павел]], [[Участник:ivan.mashonskiy|Машонский Иван]]

Статья:[[EM-алгоритм_кластеризации]]
Выполняет: [[Участник:Noite|Зинченко Дмитрий]]

Статья:[[Алгоритм_k_means]]
Выполняют: [[Участник:IanaV| Валуйская Яна]], [[Участник:GlotovES| Глотов Евгений]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы ЗП |Метод Якоби вычисления собственных значений симметричной матрицы ЗП]];
Выполняют: [[Участник:Зиновьев Владимир|Зиновьев В.С.]], [[Участник:Пронин Андрей|Пронин А.М.]]

Статья:[[Алгоритм_кластеризации,_основанный_на_минимальном_покрывающем_дереве]]
Выполняет: [[Участник:Kanast74|Дмитриева Анастасия]]

Статья:[[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(4)]]
Выполняют: [[Участник:F-morozov|Морозов Ф. В.]], [[Участник:Nataliya|Пащенко Н. Ф.]]

Статья:[[Хранение_ненулевых_элементов_разреженных_матриц._Умножение_разреженной_матрицы_на_вектор]];
Выполняют: [[Участник:Trrufina|Третьякова Р.М.]] и [[Участник:Екатерина_Буторина|Буторина Е.В.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений2]];
Выполняет: [[Участник:Лукьянова Анна|Лукьянова А.Я.]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы]];
Выполняют: [[Участник: Galkina|Галкина А.С.]], [[Участник: Игорь|Плахов И.А.]]

Статья: [[Метод рекурсивной координатной бисекции]];
Выполняют: [[Участник: Obirvalger|Гордеев Михаил]], [[Участник: KolmakovEA|Колмаков Евгений]]

Статья: [[Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)]];
Выполняют: [[Участник: Эльвира Ахиярова|Ахиярова Эльвира]]

Статья: [[Хранение ненулевых элементов разреженной матрицы. Умножение разреженной матрицы на вектор]];
Выполняют: [[Участник: Janyell|Сычева Евгения]], [[Участник: Ahahalin|Хахалин Анатолий]]

Статья: [[Построение матрицы Адамара произвольного размера]];
Выполняют: [[Участник: Бугаков Юрий|Бугаков Юрий]], Кужамалиев Ернур

Статья: [[Вычисление определенного интеграла с использованием адаптивно сгущающейся сетки (1)]]
Выполняют: [[Участница:Sannikovats| Санникова Татьяна Сергеевна]], [[Участник:Plukshin| Лукшин Петр Андреевич]]

Статья: [[Алгоритм кластеризации, основанный на построении каркаса]];
Выполняют: [[Участник:SenderovichNikita| Сендерович Никита]]

Статья: [[Алгоритм кластеризации, основанный на максимизации ожидания]];
Выполняют: Готман Мария, Лукашкина Юлия

Статья: [[Partitioning_Around_Medoids_(PAM)]]
Выполняют: [[Участник:Avasilenko|А.Э.Василенко]], [[Участник:Anastasia|А.В.Тузикова]]

Статья: [[Нечеткий алгоритм С-средних (Fuzzy C-means)]]
Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

Статья: [[Нечеткий алгоритм C средних]]
Выполняют: [[Участник:Gkhazeeva|Гелана Хазеева]], [[Участник:Yushin|Павел Юшин]]

Статья: [[Плотностный алгоритм кластеризации DBSCAN]]
Выполняют: [[Участник:Elena777mc|Малахова Е.С.]], [[Участник:Жаннат_Сагиолданова|Сагиолданова Ж.]]

Статья: [[Кластеризация Partitioning Around Medoids (PAM)]]
Выполняют:[[ Участник:Тодуа Антон| Тодуа Антон]], [[Участник:Гусева Юлия| Гусева Юлия]]

Обсуждение участника:Lineprinter

2016-10-15T18:44:56Z

Гусева Юлия: /* Перенос */

== Перенос ==
Статья: [[Кластеризация сетями Кохонена]]
Выполняют: [[Участник:Kravtsovkirill| Кравцов Кирилл]] и [[Участник:Emaksimov| Максимов Егор]]

Статья: [[Нахождение собственных чисел квадратной матрицы методом QR разложения (2)]]
Выполняют: Баев Олег и Шевелев Александр

Статья: [[Стабилизированный метод биспоряженных градиентов (BiCGSTAB)]]
Выполняют: Гаврилов Алексей и Новиков Александр

Статья: [[Участники: Бобошко А., Юмакаева А./Решение начальной задачи Коши для системы ОДУ методом Рунге-Кутта 4-го порядка]];
Выполняют: Бобошко Алексей и Юмакаева Алина

Статья: [[Алгоритм кластеризации, основанный на сетях Кохоннена]];
Выполняют: Логвиненко Александра и Адиев Тохтар

Статья: [[Ортогонализация Грама-Шмидта]];
Выполняют: [[Участник:KibAndrey| Кибанов Андрей]] и Аджиева Татьяна

Статья: [[Самоорганизующиеся карты Кохонена]];
Выполняет: [[Участник:Anton goy| Гой Антон]]

Статья:[[ЕМ-алгоритм_(Тематическое_моделирование)]];
Выполняют: Мурат Апишев и Андрей Заночкин

Статья:[[Алгоритм_Ланцоша_с_полной_переортогонализацией]];
Выполняет:[[Участник:Sfedotov| Федотов С.А.]]

Статья: [[Алгоритм_k-средних]]
Выполняют: [[Участник:Error2407|Богомазов Евгений]], [[Участник:Илья_Егоров|Егоров Илья]]

Статья: [[Алгоритм k-means]]
Выполняют: [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]]

Статья: [[Нечеткий_алгоритм_С_средних]]
Выполняют: [[Участник:Demon smd|Д.А.Гуськов]], [[Участник:marina abramenkova|М.А.Абраменкова]]

Статья: [[Решение_задачи_Коши_для_системы_ОДУ_методом_Рунге-Кутты_4_порядка]];
Выполняют: [[Участник:Алимов_Дамир_Алиевич|Алимов Дамир]] и [[Участник:Anlesnichiy|Антон Лесничий]]

Статья: [[Строгий_алгоритм_С_средних_(Hard_C-Means,_HCM)]];
Выполняют: [[Участник:Светлана_Лукьяненко|Лукьяненко Светлана]] и [[Участник:Юрий_Комаров|Комаров Юрий]]

Статья: [[Алгоритм кластеризации, основанный на минимальном остовном дереве]];
Выполняет: [[Участник:Astandrik | Стандрик Антон Сергеевич]]

Статья: [[Умножение разреженной матрицы на вектор]];
Выполняет: [[Участник:Lexaloris | Новоселов Алексей]], Выполняет: [[Участник:pahom | Кочетков Павел]]

Статья: [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)|Нахождение собственных чисел квадратной матрицы методом QR разложения (3)]];
Выполняют: [[Участник:Смирнова_Александра|Смирнова А.С.]], [[Участник:Александра_Киямова|Киямова А.]]

Статья: [[Метод_Якоби_вычисления_сингулярных_чисел_и_векторов]];
Выполняют: [[Участница:Почернина_Елена| Почернина Елена]] и [[Участница:Светлана|Костюкова Светлана]]

Статья: [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]];
Выполняют: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений]];
Выполняют: [[Участник:Cookie|Шатков С.А.]], [[Участница:JuliaA|Антохина Ю.А.]]

Статья: [[Быстрое_преобразование_Фурье_(FFT)|Быстрое преобразование Фурье (FFT)]];
Выполняют: [[Участник:Victoria_Stepanischeva|Степанищева Виктория]] и [[Участник:Igor_Munkin|Мунькин Игорь]]

Статья: [[Быстрое_дискретное_преобразование_Фурье|Быстрое_дискретное_преобразование_Фурье]];
Выполняют: [[Участник:ivanov.kir.m | К.М.Иванов]], [[Участник:Pumpkin | А.C.Сапин]]

Статья:[[Алгоритм_k_средних]]
Выполняют: [[Участник:Parkhomenko|Пархоменко Павел]], [[Участник:ivan.mashonskiy|Машонский Иван]]

Статья:[[EM-алгоритм_кластеризации]]
Выполняет: [[Участник:Noite|Зинченко Дмитрий]]

Статья:[[Алгоритм_k_means]]
Выполняют: [[Участник:IanaV| Валуйская Яна]], [[Участник:GlotovES| Глотов Евгений]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы ЗП |Метод Якоби вычисления собственных значений симметричной матрицы ЗП]];
Выполняют: [[Участник:Зиновьев Владимир|Зиновьев В.С.]], [[Участник:Пронин Андрей|Пронин А.М.]]

Статья:[[Алгоритм_кластеризации,_основанный_на_минимальном_покрывающем_дереве]]
Выполняет: [[Участник:Kanast74|Дмитриева Анастасия]]

Статья:[[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(4)]]
Выполняют: [[Участник:F-morozov|Морозов Ф. В.]], [[Участник:Nataliya|Пащенко Н. Ф.]]

Статья:[[Хранение_ненулевых_элементов_разреженных_матриц._Умножение_разреженной_матрицы_на_вектор]];
Выполняют: [[Участник:Trrufina|Третьякова Р.М.]] и [[Участник:Екатерина_Буторина|Буторина Е.В.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений2]];
Выполняет: [[Участник:Лукьянова Анна|Лукьянова А.Я.]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы]];
Выполняют: [[Участник: Galkina|Галкина А.С.]], [[Участник: Игорь|Плахов И.А.]]

Статья: [[Метод рекурсивной координатной бисекции]];
Выполняют: [[Участник: Obirvalger|Гордеев Михаил]], [[Участник: KolmakovEA|Колмаков Евгений]]

Статья: [[Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)]];
Выполняют: [[Участник: Эльвира Ахиярова|Ахиярова Эльвира]]

Статья: [[Хранение ненулевых элементов разреженной матрицы. Умножение разреженной матрицы на вектор]];
Выполняют: [[Участник: Janyell|Сычева Евгения]], [[Участник: Ahahalin|Хахалин Анатолий]]

Статья: [[Построение матрицы Адамара произвольного размера]];
Выполняют: [[Участник: Бугаков Юрий|Бугаков Юрий]], Кужамалиев Ернур

Статья: [[Вычисление определенного интеграла с использованием адаптивно сгущающейся сетки (1)]]
Выполняют: [[Участница:Sannikovats| Санникова Татьяна Сергеевна]], [[Участник:Plukshin| Лукшин Петр Андреевич]]

Статья: [[Алгоритм кластеризации, основанный на построении каркаса]];
Выполняют: [[Участник:SenderovichNikita| Сендерович Никита]]

Статья: [[Алгоритм кластеризации, основанный на максимизации ожидания]];
Выполняют: Готман Мария, Лукашкина Юлия

Статья: [[Partitioning_Around_Medoids_(PAM)]]
Выполняют: [[Участник:Avasilenko|А.Э.Василенко]], [[Участник:Anastasia|А.В.Тузикова]]

Статья: [[Нечеткий алгоритм С-средних (Fuzzy C-means)]]
Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

Статья: [[Нечеткий алгоритм C средних]]
Выполняют: [[Участник:Gkhazeeva|Гелана Хазеева]], [[Участник:Yushin|Павел Юшин]]

Статья: [[Плотностный алгоритм кластеризации DBSCAN]]
Выполняют: [[Участник:Elena777mc|Малахова Е.С.]], [[Участник:Жаннат_Сагиолданова|Сагиолданова Ж.]]

Статья: [[Кластеризация Partitioning Around Medoids (PAM)]]
Выполняют: [[Участник: Гусева Юлия ]], [[ Участник: Антон Тодуа ]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T14:13:07Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.

Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

По типу обработки данных можно выделить два класса методов кластерного анализа:

Иерархические методы:

Агломеративные методы AGNES (Agglomerative Nesting):

- CURE;

- ROCK;

- CHAMELEON и т.д.

Дивизимные методы DIANA (Divisive Analysis):

- BIRCH;

- MST и т.д.

Неиерархические методы.

Итеративные

- k-means

- k-medoids

- CLOPE

- LargeItem и т.д.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

Ограничения: небольшой объем данных.
Достоинства: простота использования; быстрота использования; понятность и прозрачность
алгоритма, алгоритм менее чувствителен к выбросам в сравнении с k-means.
Недостатки: необходимо задавать количество кластеров; медленная работа на больших базах данных.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T14:08:41Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.

Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

По типу обработки данных можно выделить два класса методов кластерного анализа:

Иерархические методы:

Агломеративные методы AGNES (Agglomerative Nesting):

- CURE;

- ROCK;

- CHAMELEON и т.д.

Дивизимные методы DIANA (Divisive Analysis):

- BIRCH;

- MST и т.д.

Неиерархические методы.

Итеративные

- К-средних (k-means)

- PAM (k-means + k-medoids)

- CLOPE

- LargeItem и т.д.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

Ограничения: небольшой объем данных.
Достоинства: простота использования; быстрота использования; понятность и прозрачность
алгоритма, алгоритм менее чувствителен к выбросам в сравнении с k-means.
Недостатки: необходимо задавать количество кластеров; медленная работа на больших базах данных.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T14:06:01Z

Гусева Юлия: /* Свойства алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.

Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

По типу обработки данных можно выделить два класса методов кластерного анализа:

Иерархические методы:

Агломеративные методы AGNES (Agglomerative Nesting):

- CURE;

- ROCK;

- CHAMELEON и т.д.

Дивизимные методы DIANA (Divisive Analysis):

- BIRCH;

- MST и т.д.

Неиерархические методы.

Итеративные

- К-средних (k-means)

- PAM (k-means + k-medoids)

- CLOPE

- LargeItem и т.д.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

Ограничения: небольшой объем данных.
Достоинства: простота использования; быстрота использования; понятность и прозрачность
алгоритма, алгоритм менее чувствителен к выбросам в сравнении с k-means.
Недостатки: необходимо задавать количество кластеров; медленная работа на больших базах данных.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T14:04:44Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.

Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

По типу обработки данных можно выделить два класса методов кластерного анализа:

Иерархические методы:

Агломеративные методы AGNES (Agglomerative Nesting):

- CURE;

- ROCK;

- CHAMELEON и т.д.

Дивизимные методы DIANA (Divisive Analysis):

- BIRCH;

- MST и т.д.

Неиерархические методы.

Итеративные

- К-средних (k-means)

- PAM (k-means + k-medoids)

- CLOPE

- LargeItem и т.д.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T14:04:12Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.

Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

По типу обработки данных можно выделить два класса методов:

Иерархические методы:

Агломеративные методы AGNES (Agglomerative Nesting):

- CURE;

- ROCK;

- CHAMELEON и т.д.

Дивизимные методы DIANA (Divisive Analysis):

- BIRCH;

- MST и т.д.

Неиерархические методы.

Итеративные

- К-средних (k-means)

- PAM (k-means + k-medoids)

- CLOPE

- LargeItem и т.д.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T14:00:51Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.

Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

По типу обработки данных можно выделить два класса методов:

Иерархические методы:

Агломеративные методы AGNES (Agglomerative Nesting):

- CURE;

- ROCK;

- CHAMELEON и т.д.

Дивизимные методы DIANA (Divisive Analysis):

- BIRCH;

- MST и т.д.

Неиерархические методы.

Итеративные
- К-средних (k-means)
- PAM (k-means + k-medoids)
- CLOPE
- LargeItem и т.д.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T13:48:29Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.

Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T13:37:11Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.
Таким образом, у кластера можно выделить два признака

● внутренняя однородность;

● внешняя изолированность.

Для чего используется кластеризация?

● Группировка объектов

● Распознавание образов

● Выявление структуры данных

● Сжатие данных

Для чего используется кластеризация?

● классификация результатов поиска (nigma, yippy,quintura)

● автоматическое построение каталогов

● работа только с несколькими представителями кластеров

● сегментация изображений — компьютерная графика

● кластеризация документов, таблиц и др.данных

● выделение групп клиентов, покупателей,товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T13:35:51Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.
Таким образом, у кластера можно выделить два признака
● внутренняя однородность;
● внешняя изолированность.

Для чего используется кластеризация?
//● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T13:35:21Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]
В этом небольшом наборе данных четко выделяются две различные группы объектов,а именно: {1, 2, 3} и (4, 5, 6}. Такие группы и называются кластерами, и обнаружить их является целью кластерного анализа.
Таким образом, у кластера можно выделить два признака
● внутренняя однородность;
● внешняя изолированность.

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Очевидно, что спектр применений кластерного анализа очень широк: в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:31:57Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:31:25Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл:QWERTY.JPG]]
[[Файл: QWERTY.JPG |thumb|center|1400px|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:31:13Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл:QWERTY.JPG]]
[[Файл: QWERTY.jpg |thumb|center|1400px|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:29:49Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.
[[Файл:QWERTY.jpg]]
[[Файл: QWERTY.jpg |thumb|center|1400px|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:29:03Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.

[[Файл: QWERTY.jpg |thumb|center|1400px|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:27:54Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.

[[file: QWERTY.jpg |thumb|center|1400px|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:27:32Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.

[[file: QWERTY.jpeg|thumb|center|1400px|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Файл:QWERTY.JPG

2016-10-11T12:27:06Z

Гусева Юлия:

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T12:25:34Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Кластеризация – это процесс автоматического разбиения некоторого множества элементов на группы(кластеры) на основе степени их схожести.
Для лучшего осознания, что такое кластер, рассмотрим пример.

[[file:C:\Documents and Settings\h638\Рабочий стол\QWERTY.jpeg|thumb|center|1400px|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление.]]

Характеристиками кластера можно назвать два признака:
● внутренняя однородность;
● внешняя изолированность.

Большинство исследователей (см., напр.,[5]) склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом[6]. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

PAM (Partitioning Around Medoids, 1987)
• CLARA (Kaufmann & Rousseeuw, 1990)
• CLARANS (Ng & Han, 1994): Randomized sampling

The PAM (Partioning Around Medoids) algorithm, also
called the K-medoids algorithm

Для чего используется кластеризация?
● Группировка объектов
● Распознавание образов
● Выявление структуры данных
● Сжатие данных

Для чего используется кластеризация?
● классификация результатов поиска (nigma, yippy,quintura)
● автоматическое построение каталогов
● работа только с несколькими представителями кластеров
● сегментация изображений — компьютерная графика
● кластеризация документов, таблиц и др.данных
● маркетинг — выделение групп клиентов, покупателей,
товаров для разработки отдельных стратегий

Дано:
множество входной набор данных
k — количество кластеров
Найти:разбиение множества на кластеры

Этапы кластеризации (общий алгоритм)
● Выбор меры близости;
● Выбор алгоритма кластеризации;
● Представление полученных результатов;

=== Математическое описание алгоритма ===

В качестве исходных данных алгоритм принимает:
* Симметрическую матрицу <math>D</math> порядка <math>N</math> с нолями на главной диагонали для <math>N</math> объектов кластеризации: <math>i</math>-я строка матрицы <math>D</math> определяет непохожесть <math>i</math>-го объекта кластеризации на все остальные объекты
* Число кластеров <math>K</math>, при этом: <math>K < N</math>

Для заданных входных данных, алгоритм выбирает <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. При этом выбор медоидов осуществляется исходя из минимизации средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. От минимизации средней непохожести можно перейти к минимизации суммы непохожестей объектов на ближайший к ним медоид, т.к. это не повлияет на выбор медоидов, но позволит не накапливать ошибки округления, возникающие в результате операции деления.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>C_{ij}</math> – изменение непохожести <math>j</math>-го объекта в результате выбора <math>i</math>-го объекта в качестве медоида
* <math>T_{ijh}</math> – изменение непохожести <math>j</math>-го объекта в результате операции обмена, т.е. выбора <math>h</math>-го объекта в качестве медоида, вместо <math>i</math>-го объекта

Перед выполнением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' предназначена для построения начального множества медоидов и состоит в последовательном выполнении следующих шагов:

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = S + \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Выбрать ещё <math>K-1</math> медоидов следующим образом
<math>S = S + \{ arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij} \}</math>

'''Стадия ''SWAP''''' является итерационной, одна итерация состоит в попытке улучшить кластеризацию путём выполнения операции обмена, т.е. замены одного медоида на другой. На каждой итерации выполняется операция <math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>. Если для найденной пары <math>i \in S</math> и <math>h \in U</math> значение <math>\sum_{j \in U - \{h\}} T_{ijh}</math> меньше ноля (это означает, что кластеризацию можно улучшить), то выполняется обмен <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>), иначе дальнейшее улучшение кластеризации невозможно и алгоритм завершает свою работу.

В результате работы алгоритма множество <math>S</math> будет содержать ровно <math>K</math> объектов – медоидов, принадлежащих разным кластерам. Кластер объекта <math>j</math> из множества <math>U</math> совпадает с кластером ближайшего к нему медоида: <math>arg\min_{i \in S} d_{ij}</math>

=== Вычислительное ядро алгоритма ===

Из математического описания алгоритма следует, что [[глоссарий#Вычислительное ядро|''вычислительное ядро'']] алгоритма сосредоточено в итерационной стадии ''SWAP''. Одна итерация состоит в вычислении:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Смысл этого выражения в том, что выполняется выбор такой пары медоида <math>i</math> и объекта <math>h</math> операция обмена которых приведёт к улучшению кластеризации или же делается вывод о невозможности такого обмена и работа алгоритма завершается.

=== Макроструктура алгоритма ===

* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется распределение <math>N</math> объектов по <math>K</math> кластерам.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Стадия ''BUILD'' сводится к вычислению:
Одной операции <math>arg\min_{i} \sum_{j} d_{ij}</math>
<math>K-1</math> операций <math>arg\max_{i \in U} \sum_{j \in U - \{i\}} C_{ij}</math>

Т.е. стадия ''BUILD'' требует:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
Около <math>K * N^2</math> вычислений <math>C_{ij}</math>

Одна итерация стадии ''SWAP'' сводится к вычислению:
<math>arg\min_{i \in S, h \in U} \sum_{j \in U - \{h\}} T_{ijh}</math>

Т.е. одна итерации стадии ''SWAP'' требует порядка:
<math>K * N^2</math> операций сложения
<math>K * N</math> операций сравнения (определения максимума/минимума)
<math>K * (N - K) * (N - K - 1)</math> вычислений <math>T_{ijh}</math>

Вычисления <math>C_{ij}</math> и <math>T_{ijh}</math> имеют константную сложность для любых <math>i</math>, <math>j</math> и <math>h</math>, поэтому сложность одной итерации алгоритма определяется как <math>O(K * N^2)</math>. Таким образом можно отнести алгоритм PAM к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
- <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
- <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''':
<math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''':
<math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''':
<math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-11T09:36:14Z

Гусева Юлия: /* Масштабируемость алгоритма и его реализации */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации <math>k</math>-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===

Для заданных входных данных, алгоритм выделяет <math>K</math> объектов - медоидов (medoids) из <math>N</math> объектов кластеризации. Задачей алгоритма является минимизация средней непохожести (average dissimilarity) объектов и ближайшего к ним медоида. Без ограничения общности можно минимизировать сумму непохожестей объектов на ближайший к ним медоид.

Для дальнейшего описания алгоритма введём следующие обозначения:
* <math>U</math> – множество объектов кластеризации, не выбранных в качестве медоидов
* <math>S</math> – множество объектов кластеризации, выбранных в качестве медоидов
* <math>D_{i}</math> – непохожесть <math>i</math>-го объекта на ближайший к нему медоид
* <math>E_{i}</math> – непохожесть <math>i</math>-го объекта на второй ближайший к нему медоид

Перед выполненением алгоритма множество <math>U</math> содержит все объекты кластеризации, а множество <math>S</math> – пусто. Числа <math>D_{i}</math> и <math>E_{i}</math> могут измениться при изменениях в множествах <math>U</math> и <math>S</math>.

Выполнение алгоритма включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

'''Стадия ''BUILD''''' (стоит начальное множество медоидов):

1. Добавить в множество <math>S</math> объект, для которого сумма непохожести на все остальные объекты минимальна (самый центральный объект):
<math>S = \{ arg\min_{i \in U} \sum_{j \in U} d_{ij} \}</math>

2. Для каждого объекта <math>i \in U</math> выполнить шаги 3-5

3. Для каждого объекта <math>j \in U - \{i\}</math> вычислить <math>D_{j}</math> и выполнить шаг 4

4. Положить <math>C_{ij} = max\{ D_{j} - d_{ij}, 0 \}</math>, мера улучшения кластеризации

5. Положить <math>g_{i} = \sum_{j \in U - \{i\}} C_{ij}</math>, улучшение от выбора <math>i</math>-го объекта в качестве медоида

6. Выбрать объект, максимизирующий величину <math>g_{i}</math> в качестве медоида:
:<math>
\begin{align}
k & = arg\min_{i \in U} \sum_{j \in U} d_{ij} \\
U & = U - \{k\} \\
S & = S + \{k\} \\
\end{align}
</math>

7. Если множество <math>S</math> содержит менее <math>K</math> объектов (медоидов) перейти к шагу 2

8. КОНЕЦ стадии ''BUILD''

'''Стадия ''SWAP''''' (итерационное улучшение кластеризации):

1. Для всех возможных пар объектов <math>i \in S</math> и <math>h \in U</math> выполнить шаги 2-4

2. Вычислить эффект <math>T_{ih}</math> от выполнения обмена объектов <math>i</math> и <math>h</math> (т.е. объект <math>i</math> больше не выбран в качестве медоида, а объект <math>h</math>, наоборот, выбран в качестве медоида). Способ вычисления <math>T_{ih}</math> описан ниже.

3. Положим <math>(i', h') = arg\min_{i \in S, h \in U} T_{ih}</math>

4. Если <math>T_{i'h'}</math> больше 0 (т.е. кластеризацию можно улучшить), то выполняем обмен объектов <math>i</math> и <math>h</math> (<math>U = U - \{k\}, S = S + \{k\}</math>) и переходим к шагу 1

5. КОНЕЦ стадии ''SWAP''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===

В соответствии с приведённым выше математическим описанием последовательное выполнение алгоритма представляет собой выполнение стадии ''BUILD'', а затем последовательное повторение итераций стадии ''SWAP'' до тех пор пока существует пара объектов (один из которых медоид, а другой – нет), которые можно обменять, чтобы улучшить кластер.

=== Последовательная сложность алгоритма ===

При описании последовательной сложности будем считать, что выполняется кластеризация <math>N</math> объектов для <math>K</math> кластеров.
В соответствии с приведённым математическим описанием алгоритм включает в себя подготовительную стадию ''BUILD'' и итерационную стадию ''SWAP''.

Для выполнения фазы ''BUILD'' требуется:

* Около <math>K * N^2</math> операций сложения (вычитания),
* Около <math>K * N^2</math> операций сравнения (определения максимума/минимума).

Для выполнения одной итерации фазы ''SWAP'' требуется:

* Около <math>K * N^2</math> операций сложения (вычитания),
* Около <math>K * N^2</math> операций сравнения (определения максимума/минимума).

Можно получить точное число приведённых выше операций, но оно практически не будет отличаться от представленных оценок. В то же время приведённые оценки способствуют лучшему восприятию последовательной сложности алгоритма.

При классификации по последовательной сложности, таким образом, данный алгоритм можно отнести к алгоритмам с кубической сложностью.

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''':

1. Матрица непохожести объектов кластеризации (dissimilarity matrix) <math>D</math> (элементы <math>d_{ij}</math>).
Дополнительные ограничения:
* <math>D</math> – симметрическая матрица порядка <math>N</math>, т.е. <math>d_{ij}= d_{ji}, i, j = 1, \ldots, N</math>
* <math>D</math> – содержит нули на главной диагонали, т.е. <math>d_{ii}= 0, i = 1, \ldots, N</math>
2. <math>K</math> - число кластеров, на которое следует разбить объекты кластеризации

'''Объём входных данных''': <math>\frac{N (N - 1)}{2}</math> (в силу симметричности и нулевой главной диагонали достаточно хранить только над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом.

'''Выходные данные''': <math>N</math> чисел <math>k_{1}, k_{2}, \ldots, k_{N}</math>, где <math>k_{i}</math> - целое число, соответствующее кластеру <math>i</math>-го объекта.

Выходными данными алгоритма также можно считать <math>K</math> чисел, задающих номера объектов кластеризации, выделенных в качестве медоидов (medoids). Однако в большинстве случаев требуется именно определение кластеров объектов, а не поиск соответствующих медоидов.

'''Объём выходных данных''': <math>N</math> (кластеры объектов кластеризации)

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

PAM работает эффективно для небольших наборов данных, но не очень хорошо масштабируется для больших наборов данных

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:29:52Z

Гусева Юлия: /* Общее описание алгоритма */

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:18:17Z

Гусева Юлия: /* Свойства и структура алгоритма */

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:14:04Z

Гусева Юлия: /* Свойства и структура алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации k-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом и _____________ в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов <math>m_k</math>, если посчитанное ранее значение <math>S</math> меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:13:26Z

Гусева Юлия: /* Свойства и структура алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации k-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом и _____________ в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары <math>{x_i}</math> и <math>{m_k}</math> вычислить значение <math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов m_k, если посчитанное ранее значение S меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:12:32Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации k-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом и _____________ в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора <math>k</math> произвольных объектов в качестве медоидов, необходимо для каждой пары x_i и m_k вычислить значение </math>S({x_{i}}{m_{k}})</math>. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов <math>x_i</math> одним из остальных объектов m_k, если посчитанное ранее значение S меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:11:43Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации k-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом и _____________ в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора k произвольных объектов в качестве медоидов, необходимо для каждой пары x_i и m_k вычислить значение S(<math>{x_{i}}</math><math>{m_{k}}</math>). По ходу выполнения алгоритма происходит итеративная замена одного из медоидов x_i одним из остальных объектов m_k, если посчитанное ранее значение S меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:09:50Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации k-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом и _____________ в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора k произвольных объектов в качестве медоидов, необходимо для каждой пары x_i и m_k вычислить значение S({x_{i}}{m_{k}}). По ходу выполнения алгоритма происходит итеративная замена одного из медоидов x_i одним из остальных объектов m_k, если посчитанное ранее значение S меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:08:59Z

Гусева Юлия: /* Свойства и структура алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации k-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом и _____________ в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора k произвольных объектов в качестве медоидов, необходимо для каждой пары x_i и m_k вычислить значение S(/x_{i}m_{k}. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов x_i одним из остальных объектов m_k, если посчитанное ранее значение S меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T14:08:26Z

Гусева Юлия: /* Общее описание алгоритма */

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Самый распространённый вариант реализации k-medoids называется PAM (Partitioning Around Medoids). Он представляет собой «жадный» алгоритм с очень неэффективной эвристикой. Данный метод был предложен Кауфманом и _____________ в 1987 году.

Алгоритм начинается с выбора набора данных, состоящих из медоидов и остальных объектов. После выбора k произвольных объектов в качестве медоидов, необходимо для каждой пары x_i и m_k вычислить значение S(x_{i}m_{k}. По ходу выполнения алгоритма происходит итеративная замена одного из медоидов x_i одним из остальных объектов m_k, если посчитанное ранее значение S меньше нуля. Процесс будет повторятся, пока медоиды не стабилизируются.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-10T08:24:25Z

Гусева Юлия:

Основные авторы описания: Тодуа А.Р., Гусева Ю.В.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-09T14:07:39Z

Гусева Юлия:

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-09T14:05:12Z

Гусева Юлия:

Основные авторы описания: Гусева Ю.В., Тодуа А.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]

Участник:Антон Тодуа/Partitioning Around Medoids (PAM)

2016-10-09T14:04:00Z

Гусева Юлия: Новая страница: «Основные авторы описания: == Свойства и структура алгоритма == === Общее описание алгоритм…»

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

[[Категория:Начатые статьи]]