Алговики - Вклад [ru]

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:15:57Z

DennZo1993: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{\rm min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{\rm distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{\rm k-means}}{\Psi_{\rm k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{\rm k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{\rm k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>\rm Efficiency = \frac{100 \cdot Performance}{Performance_{\rm Peak}^{p}}\ \ (%),</math></li></ul>
где <math>\rm Performance_{\rm Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:14:10Z

DennZo1993: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{\rm min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{\rm distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{\rm k-means}}{\Psi_{\rm k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>\rm Performance = \frac{N_{\rm k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{\rm k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>\rm Efficiency = \frac{100 \cdot Performance}{Performance_{\rm Peak}^{p}}\ \ (%),</math></li></ul>
где <math>\rm Performance_{\rm Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:13:34Z

DennZo1993: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{\rm min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{\rm distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{\rm k-means}}{\Psi_{\rm k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>\rm Performance = \frac{N_{\rm k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{\rm k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>\rm Efficiency = \frac{100 \cdot Performance}{Performance_{\rm Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:13:02Z

DennZo1993: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{\rm min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{\rm distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{\rm k-means}}{\Psi_{\rm k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{\rm k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{\rm Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:12:22Z

DennZo1993: /* Свойства алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{\rm min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{\rm distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{\rm k-means}}{\Psi_{\rm k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:11:47Z

DennZo1993: /* Ресурс параллелизма алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{\rm min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{\rm distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:11:27Z

DennZo1993: /* Ресурс параллелизма алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{\rm min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:10:15Z

DennZo1993: /* Ресурс параллелизма алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{\rm k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{\rm distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{\rm distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{\rm min}^k = log(k)</math>. В результате, <math>\Psi_{\rm distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{\rm distribute}^{k, d} = \Psi_{\rm distance}^d + \Psi_{\rm min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{\rm recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{\rm recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{\rm recenter}^{d, m} \le \Psi_{\rm recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{\rm recenter}^{k, d} \le \Psi_{\rm recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{\rm recenter}</math>, сложность всего алгоритма, <math>\Psi_{\rm k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{\rm k-means} \approx i \cdot (\Psi_{\rm distribute}^{k, d} + \Psi_{\rm recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:05:34Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{\rm init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{\rm init}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{\rm distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{\rm distribute}^{k, d} = n \cdot k \cdot \Theta_{\rm distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{\rm recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{\rm recenter}^{k, d, m} = k \cdot \Theta_{\rm centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{\rm centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{\rm distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{\rm distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{\rm k-means}^{d, n}</math>
<math>\Theta_{\rm k-means}^{d, n} \le \Theta_{\rm init}^{k, d, n} + i(\Theta_{\rm distribute}^{k, d} + \Theta_{\rm recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{\rm k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{\rm k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{\rm k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{k-means} \approx i \cdot (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T11:02:01Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{\rm centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{\rm distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + i(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{k-means} \approx i \cdot (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:55:06Z

DennZo1993: /* Свойства алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + i(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{k-means} \approx i \cdot (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{nd} = ki </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:54:12Z

DennZo1993: /* Ресурс параллелизма алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + i(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(kd))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{k-means} \approx i \cdot (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{n \cdot d} = k \cdot i </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:52:49Z

DennZo1993:

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + i(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k \cdot d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{k-means} \approx i \cdot (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le i \cdot O(log(kdn))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n \cdot d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n \cdot d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{n \cdot d} = k \cdot i </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i \cdot log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 \cdot Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:49:48Z

DennZo1993:

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + i(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>i</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>i</math> операций определяется выражением

<math>\Psi_{k-means} \approx i \cdot (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le i \cdot O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{ikdn}{n*d} = k \cdot i </math>, где <math>k</math> – число кластеров, <math>i</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(ikdn)}{O(i*log(kdn))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>i</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, i</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:47:51Z

DennZo1993:

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(ikdn)</math>
| input_data = <math> dn </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + i(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:43:46Z

DennZo1993:

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(i*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>i</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + i(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ i(kn(2d-1) + knd) = knd+ i(kn(3d-1)) \thicksim O(ikdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + i(knd + kd) = kd + ikd(n+1) \thicksim O(ikdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>i</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(ikdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:41:02Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ \Tau(kn(2d-1) + knd) = knd+ \Tau(kn(3d-1)) \thicksim O(\Tau kdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le kd + \Tau(knd + kd) = kd + \Tau kd(n+1) \thicksim O(\Tau kdn) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau kdn) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:39:26Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ \Tau(kn(2d-1) + knd) = knd+ \Tau(kn(3d-1)) \thicksim O(\Tau kdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k \cdot d + \Tau \cdot (k \cdot n \cdot d + k \cdot d) = k \cdot d + \Tau \cdot k \cdot d \cdot (n+1) \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:38:18Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k \cdot n \cdot d+ \Tau \cdot (k \cdot n(2d-1) + k \cdot n \cdot d) = k \cdot n \cdot d+ \Tau \cdot (k \cdot n(3d-1)) \thicksim O(\Tau k \cdot d \cdot n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k \cdot d + \Tau \cdot (k \cdot n \cdot d + k \cdot d) = k \cdot d + \Tau \cdot k \cdot d \cdot (n+1) \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:37:24Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = nk \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>md</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k \cdot n \cdot d+ \Tau \cdot (k \cdot n(2d-1) + k \cdot n \cdot d) = k \cdot n \cdot d+ \Tau \cdot (k \cdot n(3d-1)) \thicksim O(\Tau k \cdot d \cdot n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k \cdot d + \Tau \cdot (k \cdot n \cdot d + k \cdot d) = k \cdot d + \Tau \cdot k \cdot d \cdot (n+1) \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:36:14Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k \cdot n \cdot d+ \Tau \cdot (k \cdot n(2d-1) + k \cdot n \cdot d) = k \cdot n \cdot d+ \Tau \cdot (k \cdot n(3d-1)) \thicksim O(\Tau k \cdot d \cdot n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k \cdot d + \Tau \cdot (k \cdot n \cdot d + k \cdot d) = k \cdot d + \Tau \cdot k \cdot d \cdot (n+1) \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:35:13Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m \cdot d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k \cdot n \cdot d+ \Tau \cdot (k \cdot n(2d-1) + k \cdot n \cdot d) = k \cdot n \cdot d+ \Tau*(kn(3d-1)) \thicksim O(\Tau k \cdot d \cdot n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k \cdot d + \Tau \cdot (k \cdot n \cdot d + k \cdot d) = k \cdot d + \Tau \cdot k \cdot d \cdot (n+1) \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:33:35Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>md</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ \Tau*(kn(2d-1) + k \cdot n \cdot d) = knd+ \Tau*(kn(3d-1)) \thicksim O(\Tau kdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k \cdot d + \Tau \cdot (k \cdot n \cdot d + k \cdot d) = k \cdot d + \Tau \cdot k \cdot d \cdot (n+1) \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau \cdot k \cdot d \cdot n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:32:10Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n \cdot k \cdot \Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k \cdot \Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>md</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ \Tau*(kn(2d-1) + k \cdot n \cdot d) = knd+ \Tau*(kn(3d-1)) \thicksim O(\Tau kdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:29:01Z

DennZo1993: /* Последовательная сложность алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = nk\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>md</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le knd+ \Tau*(kn(2d-1) + knd) = knd+ \Tau*(kn(3d-1)) \thicksim O(\Tau kdn)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-12-10T10:25:47Z

DennZo1993: /* Вычислительное ядро алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>kn</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатов (<math>t, \Tau</math>) [[Глоссарий#Производительность|производительность]] и эффективность реализации расчитывались по формулам:

<ul><li><math>Performance = \frac{N_{k-means}^{d, n}}{t}\ \ (FLOPS),</math></li></ul>
где <math>N_{k-means}^{d, n}</math> – точное число операций с плавающей точкой (операции с памятью, а также целочисленные операции не учитывались), вычисленное в соответствие с разделом [[#Последовательная сложность алгоритма| "Последовательная сложность алгоритма"]];


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ (%),</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


Графики зависимости производительности и эффективности параллельной реализации k means от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>) представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. Параллельная реализация k means. График зависимости производительности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]
[[file:Efficiency.png|thumb|center|800px|Рис. 5. Параллельная реализация k means. График зависимости эффективности реализации алгоритма от числа векторов для кластеризации (<math>n</math>) и числа процессоров (<math>p</math>).]]


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров. Данный результат вызван ростом накладных расходов для обеспечения параллельного выполнения алгоритма.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов. Данный результат вызван тем, что при увеличении размера задачи, количество вычислений растет по сравнению с временем, затрачиваемым на пересылку данных.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается с ростом размера задачи и числа процессоров.</li>
</ul>


[https://github.com/serban/kmeans Использованная параллельная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:59:08Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки [http://scikit-learn.org/ scikit-learn]):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.



В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


[https://github.com/serban/kmeans Использованная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:57:16Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки scikit-learn):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.



В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


[https://github.com/serban/kmeans Использованная реализация алгоритма k means]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:55:04Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки scikit-learn):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=100,
n_samples=2000000)
</syntaxhighlight>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.



В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:54:27Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки scikit-learn):
<syntaxhighlight lang="python">
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=110,
n_samples=2000000)
</syntaxhighlight>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.



В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:52:00Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Для проведения экспериментов были сгенерированы нормально распределенные псевдослучайные данные (с использованием Python библиотеки scikit-learn):
from sklearn.datasets import make_classification
X1, Y1 = make_classification(n_features=10, n_redundant=2, n_informative=8,
n_clusters_per_class=1, n_classes=110,
n_samples=1500000)

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.



В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:45:09Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.



В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>



Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:43:52Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>


Оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:42:53Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>


Приведем оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:42:11Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>


Приведем оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
<li>Общая оценка: -0.000058 – можно сделать вывод, что в целом эффективность реализации незначительно уменьшается.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T01:34:18Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>


Приведем оценки масштабируемости реализации алгоритма k means:
<ul>
<li>По числу процессоров: -0.002683 – эффективность убывает с ростом числа процессоров.</li>
<li>По размеру задачи: 0.002779 – эффективность растет с ростом числа векторов.</li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />

Участник:Бротиковская Данута/Алгоритм k-means

2016-11-15T00:07:15Z

DennZo1993: /* Масштабируемость реализации алгоритма */

{{Assignment|Zhum}}

{{algorithm
| name = Алгоритм k средних (k means)
| serial_complexity = <math>O(\Tau*k*d*n)</math>
| input_data = <math> d*n </math>
| output_data = <math> n </math>
}}

Авторы страницы [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]].

Оба автора внесли одинаковый вклад в написание статьи (поиск материалов, изучение статей, заполнение контента статьи), четких разграничений по пунктам статьи сделать невозможно.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Алгоритм k средних (k means) – неиерархический<ref>"https://ru.wikipedia.org/wiki/Иерархическая_кластеризация"</ref>, итерационный метод кластеризации<ref>"https://ru.wikipedia.org/wiki/Кластерный_анализ"</ref>, получивший большую популярность благодаря своей простоте, наглядности реализации и достаточно высокому качеству работы. Был изобретен в 1950-х годах математиком Гуго Штейнгаузом<ref>Steinhaus, Hugo. "Sur la division des corp materiels en parties." Bull. Acad. Polon. Sci 1.804 (1956): 801.</ref> и почти одновременно Стюартом Ллойдом<ref>Lloyd, S. P. "Least square quantization in PCM. Bell Telephone Laboratories Paper. Published in journal much later: Lloyd, SP: Least squares quantization in PCM." IEEE Trans. Inform. Theor.(1957/1982).</ref>. Особую популярность приобрел после публикации работы МакКуина<ref>MacQueen, James. "Some methods for classification and analysis of multivariate observations." Proceedings of the fifth Berkeley symposium on mathematical statistics and probability. Vol. 1. No. 14. 1967.</ref> в 1967.

Алгоритм представляет собой версию EM-алгоритма<ref>"https://ru.wikipedia.org/wiki/EM-алгоритм"</ref>, применяемого также для разделения смеси гауссиан. Основная идея k means заключается в том, что данные произвольно разбиваются на кластеры, после чего итеративно перевычисляется центр масс для каждого кластера, полученного на предыдущем шаге, затем векторы разбиваются на кластеры вновь в соответствии с тем, какой из новых центров оказался ближе по выбранной метрике.

Цель алгоритма заключается в разделении <math>n</math> наблюдений на <math>k</math> кластеров таким образом, чтобы каждое наблюдение принадлежало ровно одному кластеру, расположенному на наименьшем расстоянии от наблюдения.

=== Математическое описание алгоритма ===
Дано:
* набор из <math>n</math> наблюдений <math>X=\{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^d, i=\overline{1, n}</math>;
* <math>k</math> - требуемое число кластеров, <math>k \in \mathbb{N}, k \leq n</math>.

Требуется:

Разделить множество наблюдений <math>X</math> на <math>k</math> кластеров <math>S_1, S_2, ..., S_k</math>:
* <math>S_i \cap S_j= \varnothing, \quad i \ne j</math>

* <math>\bigcup_{i=1}^{k} S_i = X</math>

Действие алгоритма:
Алгоритм k means разбивает набор <math>X</math> на <math>k</math> наборов <math>S_1, S_2, ..., S_k,</math> таким образом, чтобы минимизировать сумму квадратов расстояний от каждой точки кластера до его центра (центр масс кластера). Введем обозначение, <math>S=\{S_1, S_2, ..., S_k\}</math>. Тогда действие алгоритма k means равносильно поиску:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math>\arg\min_{S} \sum\limits_{i=1}^k \sum\limits_{\mathbf{x} \in S_i} \rho(\mathbf{x}, \mathbf{\mu}_i )^2,</math></td>
<td align="right"><math>(1)</math></td>
</tr>
</table>
где <math>\mathbf{\mu}_i</math> – центры кластеров, <math>i=\overline{1,k}, \quad \rho(\mathbf{x}, \mathbf{\mu}_i)</math> – функция расстояния между <math>\mathbf{x}</math> и <math>\mu_i</math>

Шаги алгоритма: 
<ol>
<li>
Начальный шаг: инициализация кластеров
Выбирается произвольное множество точек <math>\mu_i, i=\overline{1,k}</math>, рассматриваемых как начальные центры кластеров: <math>\mu_i^{(0)} = \mu_i, \quad i=\overline{1, k}</math>
</li>
<li>
Распределение векторов по кластерам
Шаг <math>t: \forall \mathbf{x}_i \in X, i=\overline{1,n}: \mathbf{x}_i \in S_j \iff j=\arg\min_{k}\rho(\mathbf{x}_i,\mathbf{\mu}_k^{(t-1)})^2</math>
</li>
<li>
Пересчет центров кластеров
Шаг <math>t: \forall i=\overline{1,k}: \mu_i^{(t)} = \cfrac{1}{|S_i|}\sum_{\mathbf{x}\in S_i}\mathbf{x}</math>
</li>
<li>
Проверка условия останова:

'''if''' <math>\exist i\in \overline{1,k}: \mu_i^{(t)} \ne \mu_i^{(t-1)}</math> '''then'''
t = t + 1;
goto 2;
'''else'''
'''stop'''
</li>
</ol>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром являются шаги 2 и 3 приведенного выше алгоритма: распределение векторов по кластерам и пересчет центров кластеров.


Распределение векторов по кластерам предполагает вычисление расстояний между каждым вектором <math>\mathbf{x}_i \in X, i= \overline{1,n}</math> и центрами кластера <math>\mathbf{\mu}_j, j= \overline{1,k}</math>. Таким образом, данный шаг предполагает <math>k*n</math> вычислений расстояний между d-мерными векторами.


Пересчет центров кластеров предполагает <math>k</math> вычислений центров масс <math>\mathbf{\mu}_i</math> множеств <math>S_i, i=\overline{1,k}</math> представленных выражением в шаге 3 представленного выше алгоритма.


=== Макроструктура алгоритма ===

Инициализация центров масс <math>\mu_1, ..., \mu_k</math>.

Наиболее распространенными являются следующие стратегии:
<ul>
<li>
Метод Forgy В качестве начальных значений <math>\mu_1, ..., \mu_k</math> берутся случайно выбранные векторы.
</li>
<li>
Метод случайно разделения (Random Partitioning) Для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> выбирается случайным образом кластер <math>S_1, ..., S_k</math>, после чего для каждого полученного кластера вычисляются значения <math>\mu_1, ..., \mu_k</math>.
</li>
</ul>

Распределение векторов по кластерам

Для этого шага алгоритма между векторами <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> и центрами кластеров <math>\mu_1, ..., \mu_k</math> вычисляются расстояния по формуле (как правило, используется Евлидово расстояние):
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mathbf{v}_1, \mathbf{v}_2 \in \mathbb{R}^d, \quad \rho(\mathbf{v}_1, \mathbf{v}_2) = \lVert \mathbf{v}_1- \mathbf{v}_2 \rVert= \sqrt{\sum_{i=1}^{d}(\mathbf{v}_{1,i} - \mathbf{v}_{2,i})^2}</math></td>
<td align="right"><math>(2)</math></td>
</tr>
</table>

Пересчет центров кластеров

Для этого шага алгоритма производится пересчет центров кластера по формуле вычисления центра масс:
<table style="width:100%">
<tr>
<td align="center" width="90%"><math> \mu = \cfrac{1}{|S|}\sum_{\mathbf{x}\in S}\mathbf{x}</math></td>
<td align="right"><math>(3)</math></td>
</tr>
</table>

=== Схема реализации последовательного алгоритма ===

'''algorithm''' k-means '''is'''
'''1.''' Инициализировать центры кластеров <math>\mathbf{\mu}_i^{(1)}, i=\overline{1,k}</math>
'''2.''' <math>t \leftarrow 1</math>
'''3.''' '''Распределение по кластерам''' 
<math>S_i^{(t)}=\{\mathbf{x}_p: \lVert\mathbf{x}_p-\mathbf{\mu}_i^{(t)}\rVert^2 \leq \lVert\mathbf{x}_p-\mathbf{\mu}_j^{(t)}\rVert^2 \quad \forall j=\overline{1,k}\},</math> 
где каждый вектор <math>\mathbf{x}_p</math> соотносится единственному кластеру <math>S^{(t)}</math>
'''4.''' '''Обновление центров кластеров''' 
<math>\mathbf{\mu}_i^{(t+1)} = \frac{1}{|S^{(t)}_i|} \sum_{\mathbf{x}_j \in S^{(t)}_i} \mathbf{x}_j </math> 
'''5.''' '''if''' <math>\exist i \in \overline{1,k}: \mathbf{\mu}_i^{(t+1)} \ne \mathbf{\mu}_i^{(t)}</math> '''then'''
t = t + 1;
goto '''3''';
'''else'''
'''stop'''

=== Последовательная сложность алгоритма===
<div style="padding-bottom: 20px">
Обозначим <math>\Theta_{centroid}^{d, m}</math> временную сложность вычисления центорида кластера, число элементов которого равна <math>m</math>, в d-мерном пространстве.
Аналогично <math>\Theta_{distance}^d</math> – временная сложность вычисления расстояния между двумя d-мерными векторами.
</div>
<div style="padding-bottom: 20px">
Сложность шага инициализации <math>k</math> кластеров мощности <math>m</math> в d-мерном пространстве – <math>\Theta_{init}^{k, d, m}</math>
<ul>
<li>Стратерия Forgy: вычисления не требуются, <math>\Theta_{init}^{k, d, m} = 0</math></li>
<li>Стратегия случайного разбиения: вычисление центров <math>k</math> кластеров, <math>\Theta_{init}^{k, d, m} = k*\Theta_{centroid}^{d, m}, m \le n</math></li>
</ul>
</div>
<div style="padding-bottom: 20px">
Cложность шага распределения d мерных векторов по <math>k</math> кластерам – <math>\Theta_{distribute}^{k, d}</math>

На этом шаге для каждого вектора <math>\mathbf{x}_i \in X, i=\overline{1, n}</math> вычисляется k расстояний до центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>


<math>\Theta_{distribute}^{k, d} = n*k*\Theta_{distance}^d</math>

</div>
<div style="padding-bottom: 20px">

Сложность шага пересчета центров <math>k</math> кластеров размера <math>m</math> в d-мерном пространстве – <math>\Theta_{recenter}^{k, d, m}</math>

На этом шаге вычисляется <math>k</math> центров кластеров <math>\mathbf{\mu}_1, ...\mathbf{\mu}_k</math>
<math>\Theta_{recenter}^{k, d, m} = k*\Theta_{centroid}^{d, m}</math> 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{centroid}^{d, m}</math> для кластера, число элементов которого равно <math>m</math>
<math>\Theta_{centroid}^{d, m}</math> = <math>m * d</math> сложений + <math>d</math> делений 
</div>
<div style="padding-bottom: 20px">
Рассчитаем <math>\Theta_{distance}^d</math> в соответствие с формулой <math>(2)</math>
<math>\Theta_{distance}^d</math> = <math>d</math> вычитаний + <math>d</math> умножений + <math>(d-1)</math> сложение
</div>
<div style="padding-bottom: 20px">
Предположим, что алгоритм сошелся за <math>\Tau</math> итераций, тогда временная сложность алгоритма <math>\Theta_{k-means}^{d, n}</math>
<math>\Theta_{k-means}^{d, n} \le \Theta_{init}^{k, d, n} + \Tau*(\Theta_{distribute}^{k, d} + \Theta_{recenter}^{k, d, n})</math>
</div>
<div style="padding-bottom: 5px">
Операции сложения/вычитания:
<math>\Theta_{k-means}^{d, n} \le k*n*d+ \Tau*(k*n*(2d-1) + k*n*d) = k*n*d+ \Tau*(k*n*(3d-1)) \thicksim O(\Tau*k*d*n)</math>
</div>
<div style="padding-bottom: 20px">
Операции умножения/деления:
<math>\Theta_{k-means}^{d, n} \le k*d + \Tau*(k*n*d + k*d) = k*d + \Tau * k*d*(n+1) \thicksim O(\Tau*k*d*n) </math>
</div>
<div style="padding-bottom: 20px">
Получаем, что временная сложность алгоритма k means кластеризации <math>n</math> d-мерных векторов на <math>k</math> кластеров за <math>\Tau</math> итераций:
<math> \Theta_{k-means}^{d, n} \thicksim O(\Tau*k*d*n) </math>
</div>

=== Информационный граф ===

Рассмотрим информационный граф алгоритма. Алгоритм k means начинается с этапа инициализации, после которого следуют итерации, на каждой из которых выполняется два последовательных шага (см. [[#Схема реализации последовательного алгоритма|"Схема реализации последовательного алгоритма"]]):
* распределение векторов по кластерам
* перерасчет центров кластеров

Поскольку основная часть вычислений приходится на шаги итераций, распишем информационные графы данных шагов.

Распределение векторов по кластерам
Информационный граф шага распределения векторов по кластерам представлен на ''рисунке 1''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также центры кластеров <math>\mathbf{\mu}_1, ... \mathbf{\mu}_k</math>, вычисленные ранее (на шаге инициализации, если рассматривается первая итерация алгоритма, или на шаге пересчета центров кластеров предыдущей итерации в противном случае). Каждая пара векторов данных <math>\mathbf{x}_i, i=\overline{1,n}</math> и центров кластера <math>\mathbf{\mu}_j, j=\overline{1, k}</math> : (<math>\mathbf{x}_i</math>, <math>\mathbf{\mu}_j</math>) подаются на независимые узлы "d" вычисления расстояния между векторами (более подробная схема вычисления расстояния представлена далее, ''рисунок 2''). Далее узлы вычисления расстояния "d", соответствующие одному и тому же исходному вектору <math>\mathbf{x}_i</math> передаются на один узел "m", где далее происходит вычисление новой метки кластера для каждого вектора <math>\mathbf{x}_i</math> (берется кластер с минимальным результатом вычисления расстояния). На выходе графа выдаются метки кластеров , <math>L_1, ..., L_n</math>, такие что <math>\forall \mathbf{x}_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>.

[[file:Clusterization.png|thumb|center|800px|Рис. 1. Схема распределения векторов по кластерам. ''d'' – вычисление расстояния между векторами; ''m'' – вычисление минимума.]]

Вычисление расстояния между векторами
Подробная схема вычисления расстояния между векторами <math>\mathbf{x}_i, \mathbf{\mu}_j</math> представлена на ''рисунке 2''. Как показано на графе, узел вычисления расстояния между векторами "d" состоит из шага взятия разности между векторами (узел "<math>-</math>") и взятия нормы получившегося вектора разности (узел "<math>||\cdot||^2</math>"). Более подробно, вычисление расстояния между векторами <math>\mathbf{x}_i = {x_{i1,}, ...,{x_{in}}}, \mathbf{\mu}_j = {\mu_{j1}, ...,\mu_{jn}}</math> может быть представлено как вычисление разности между каждой парой компонент <math>(x_{iz}, \mu_{jz}), z=\overline{1, d}</math> (узел "<math>-</math>"), далее возведение в квадрат для каждого узла "<math>-</math>" (узел "<math>()^2</math>") и суммирования выходов всех узлов "<math>()^2</math>" (узел "<math>+</math>").

[[file:dist_calc.png|thumb|center|800px|Рис. 2. Схема вычисления расстояния между вектором и центром кластера.]]

Пересчет центров кластеров
Информационный граф шага пересчета центров кластеров представлен на ''рисунке 3''. Исходами данного графа является исходные векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math>, а также им соответствующие метки кластера, <math>L_1, ..., L_n</math>, такие что <math>\forall x_i, i=\overline{1, n}, \mathbf{x}_i \in S_j \Leftrightarrow L_i = j</math>, вычисленные на этапе распределения векторов по кластерам. Все векторы <math>\mathbf{x}_1, ..., \mathbf{x}_n</math> подаются в узлы <math>+_1, ...+_k</math>, каждый узел <math>+_m, m = \overline{1,k}</math> соответствует операции сложения векторов кластера с номером <math>m</math>. Метки кластера <math>L_1, ..., L_n</math> также совместно передаются на узлы <math>S_m, m = \overline{1,k}</math>, на каждом из которых вычисляется количество векторов в соответствующем кластере (количество меток с соответствующим значением). Далее каждая пара выходов узлов <math>+_m</math> и <math>S_m</math> подается на узел "<math>/</math>", где производится деление суммы векторов кластера на количество элементов в нем. Значения, вычисленные на узлах "<math>/</math>", присваиваются новым центрам кластеров (выходные значения графа).

[[file:Recluster.png|thumb|center|800px|Рис. 3. Схема пересчета центров кластеров]]

=== Ресурс параллелизма алгоритма ===

Работа алгоритма состоит из <math>\Tau</math> итераций, в каждой из которых происходит распределение d-мерных векторов по <math>k</math> кластерам, а также пересчет центров кластеров в d-мерном пространстве. В шаге распределения d-мерных векторов по <math>k</math> кластерам расстояния между вектором и центрами кластеров вычисляются независимо (отсутствуют информационные зависимости). Центры масс кластеров также пересчитываются независимо друг от друга. Таким образом, имеет место [[глоссарий#Массовый параллелизм|''массовый параллелизм'']]. Вычислим параллельную сложность <math>\Psi_*</math> каждого из шагов, а также параллельную сложность всего алгоритма, <math>\Psi_{k-means}</math>. Будем исходить из предположения, что может быть использовано любое необходимое число потоков.


Распределение d-мерных векторов по <math>k</math> кластерам

Поскольку на данном шаге для каждой пары векторов <math>\mathbf{x}_i, i=\overline{1,n}</math> и <math>\mathbf{\mu}_j, j=\overline{1,k}</math> операции вычисления расстояния не зависят друг от друга, они могут выполняться параллельно. Тогда, разделив все вычисление расстояний на <math>n</math> потоков, получим, что в каждом потоке будет выполняться только одна операция вычисления расстояния между векторами размерности d. При этом каждому вычислительному потоку передаются координаты центров всех кластеров <math>\mathbf{\mu}_1, ..., \mathbf{\mu}_k</math>. Таким образом, параллельная сложность данного шага определяется сложностью параллельной операции вычисления расстояния между d-мерными векторами, <math>\Psi_{distance}^d</math> и сложностью определения наиболее близкого кластера (паралельное взятие минимума по расстояниям), <math>\Psi_{min}^k</math>. Для оценки <math>\Psi_{distance}^d</math> воспользуемся [[Нахождение_частных_сумм_элементов_массива_сдваиванием | параллельной реализацией нахождения частичной суммы элементов массива путем сдваивания]]. Аналогично, <math>\Psi_{min}^k = log(k)</math>. В результате, <math>\Psi_{distance}^d = O(log(d))</math>. Таким образом:

<math>\Psi_{distribute}^{k, d} = \Psi_{distance}^d + \Psi_{min}^k = O(log(d))+O(log(k)) = O(log(k*d))</math>

Пересчет центров кластеров в d-мерном пространстве

Поскольку на данном шаге для каждого из <math>k</math> кластеров центр масс может быть вычислен независимо, данные операции могут быть выполнены в отдельных потоках. Таким образом, параллельная сложность данного шага, <math>\Psi_{recenter}^{k, d}</math>, будет определяться параллельной сложностью вычисления одного центра масс кластера размера <math>m</math>, <math>\Psi_{recenter}^{k, d}</math>, а так как <math>m \le n \Rightarrow \Psi_{recenter}^{d, m} \le \Psi_{recenter}^{d, n}</math>. Сложность вычисления центра масс кластера d-мерных векторов размера n аналогично предыдущим вычислениям равна <math>O(log(n))</math>. Тогда:

<math>\Psi_{recenter}^{k, d} \le \Psi_{recenter}^{d, n} = O(log(n))</math>

Общая параллельная сложность алгоритма

На каждой итерации необходимо обновление центров кластеров, которые будут использованы на следующей итерации. Таким образом, итерационный процесс выполняется последовательно<ref>Zhao, Weizhong, Huifang Ma, and Qing He. "Parallel k-means clustering based on mapreduce." IEEE International Conference on Cloud Computing. Springer Berlin Heidelberg, 2009.</ref>. Тогда, поскольку сложность каждой итерации определяется <math>\Psi_{distribute}^{k, d}</math> и <math>\Psi_{recenter}</math>, сложность всего алгоритма, <math>\Psi_{k-means}</math> в предположении, что было сделано <math>\Tau</math> операций определяется выражением

<math>\Psi_{k-means} \approx \Tau * (\Psi_{distribute}^{k, d} + \Psi_{recenter}^{k, d}) \le \Tau * O(log(k*d*n))</math>

=== Входные и выходные данные алгоритма ===

Входные данные 
<ul>
<li>Матрица из <math>n*d</math> элементов <math>x_{i, j} \in \mathbb{R}, i=\overline{1, n}, j=\overline{1, d}</math>– координат векторов (наблюдений).</li>
<li>Целое положительное число <math>k, k \le n</math> – количество кластеров.</li>
</ul>


Объем входных данных 
<math>1</math> целое число + <math>n*d</math> вещественных чисел (при условии, что координаты – вещественные числа).


Выходные данные 
<math>n</math> целых положительных чисел <math>L_1, ..., L_n</math>– номера кластеров, соотвествующие каждому вектору (при условии, что нумерация кластеров начинается с <math>1</math>).


Объем выходных данных 
<math>n</math> целых положительных чисел.


=== Свойства алгоритма ===
[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']]
Вычислительная мощность алгоритма k means равна <math>\frac{k*d*n*\Tau}{n*d} = k*\Tau </math>, где <math>k</math> – число кластеров, <math>\Tau</math> – число итераций алгоритма.

[[глоссарий#Детерминированность |''Детерминированность'']] и [[глоссарий#Устойчивость |''Устойчивость'']] 
Алгоритм k means является итерационным. Количество итераций алгоритма в общем случае не фиксируется и зависит от начального расположения объектов в пространстве, параметра <math>k</math>, а также от начального приближения центров кластеров, <math>\mu_1, ..., \mu_k</math>. В результате этого может варьироваться результат работы алгоритма. При неудачном выборе начальных параметров итерационный процесс может сойтись к локальному оптимуму<ref>Von Luxburg, Ulrike. Clustering Stability. Now Publishers Inc, 2010.</ref>. По этим причинам алгоритм не является ни детермирированным, ни устойчивым.

Соотношение последовательной и параллельной сложности алгоритма

<math>\frac{\Theta_{k-means}}{\Psi_{k-means}} = \frac{O(\Tau*k*d*n)}{O(\Tau*log(k*d*n))}</math>

Сильные стороны алгоритма:
<ul>
<li>Сравнительно высокая эффективность при простоте реализации</li>
<li>Высокое качество кластеризации</li>
<li>Возможность распараллеливания</li>
<li>Существование множества модификаций</li>
</ul>
Недостатки алгоритма<ref>Ortega, Joaquín Pérez, Ma Del Rocío Boone Rojas, and María J. Somodevilla. "Research issues on K-means Algorithm: An Experimental Trial Using Matlab."</ref>:
<ul>
<li>Количество кластеров является параметром алгоритма</li>
<li>
Чувствительность к начальным условиям
Инициализация центров кластеров в значительной степени влияет на результат кластеризации.
</li>
<li>
Чувствительность к выбросам и шумам
Выбросы, далекие от центров настоящих кластеров, все равно учитываются при вычислении их центров.
</li>
<li>
Возможность сходимости к локальному оптимуму
Итеративный подход не дает гарантии сходимости к оптимальному решению.
</li>
<li>
Использование понятия "среднего"
Алгоритм неприменим к данным, для которых не определено понятие "среднего", например, категориальным данным.
</li>
</ul>

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====

Исследование масштабируемости параллельной реализации алгоритма k means проводилось на суперкомпьютере "Ломоносов". Алгоритм реализован на языке C с использованием средств MPI.
Для исследования масштабируемости проводилось множество запусков программы с разным значением параметра (количество векторов для кластеризации), а также с различным числом процессоров. Фиксировались результаты запусков – время работы <math>t</math> и количество произведенных итераций алгоритма <math>\Tau</math>.

Параметры запусков для экспериментальной оценки:
<ul>
<li>Значения количества векторов <math>n</math>: 20'000, 30'000, 50'000, 100'000, 200'000, 300'000, 500'000, 700'000, 1'000'000, 1'500'000, 2'000'000.</li>
<li>Значения количества процессоров <math>p</math>: 1, 8, 16, 32, 64, 128, 160, 192, 224, 256, 288, 320, 352, 384, 416, 448, 480, 512.</li>
<li>Значение количества кластеров <math>k</math>: 100.</li>
<li>Значение размерности векторов <math>d</math>: 10.</li>
</ul>

Графики производительности и эффективности реализации представлены на рисунках 4 и 5 соответственно.

[[file:Flops.png|thumb|center|800px|Рис. 4. График производительности реализации алгоритма.]]

[[file:Efficiency.png|thumb|center|800px|Рис. 5. График эффективности реализации алгоритма.]]

Для заданной конфигурации эксперимента (<math>n, d, p, k</math>) и полученных результатах (<math>t, \Tau</math>) производительность и эффективность реализации расчитывались по формулам (см. [[#Последовательная сложность алгоритма| последовательная сложность алгоритма]]):

<ul><li><math>Performance = \frac{\Theta_{k-means}^{d, n}}{t}\ \ FLOPS</math></li></ul>


<ul><li><math>Efficiency = \frac{100 * Performance}{Performance_{Peak}^{p}}\ \ %,</math></li></ul>
где <math>Performance_{Peak}^{p}</math> – пиковая производительность суперкомпьютера при <math>p</math> процессорах, вычисленная согласно спецификациям Intel® XEON® X5670<ref>"http://ark.intel.com/ru/products/47920/Intel-Xeon-Processor-X5670-12M-Cache-2_93-GHz-6_40-GTs-Intel-QPI"</ref>.


В результате экспериментальной оценки были получены следующие оценки эффективности реализации:
<ul>
<li>Минимальное значение: 0.000409 % достигается при <math>n=20'000, p=480</math></li>
<li>Максимальное значение: 0.741119 % достигается при <math>n=300'000, p=1</math></li>
</ul>


=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
==== Открытое программное обеспечение ====
<ol>
<li>[https://www.icpsr.umich.edu/CrimeStat/ CrimeStat]</li> Программное обеспечение, созданное для операционных систем Windows, предоставляющее инструменты статистического и пространственного анализа для решения задачи картирования преступности.
<li>[http://juliastats.github.io Julia]</li> Высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений, содержит реализацию k-means.
<li>[https://mahout.apache.org Mahout]</li> Apache Mahout - Java библиотека для работы с алгоритмами машинного обучения с использованием MapReduce. Содержит реализацию k-means.
<li>[https://www.gnu.org/software/octave/ Octave]</li> Написанная на C++ свободная система для математических вычислений, использующая совместимый с MATLAB язык высокого уровня, содержит реализацию k-means.
<li>[http://spark.apache.org/docs/latest/mllib-clustering.html Spark]</li> Распределенная реализация k-means содержится в библиотеке Mlib для работы с алгоритмами машинного обучения, взаимодействующая с Python библиотекой NumPy и библиотека R.
<li>[http://torch.ch Torch]</li> MATLAB-подобная библиотека для языка программирования Lua с открытым исходным кодом, предоставляет большое количество алгоритмов для глубинного обучения и научных расчётов. Ядро написано на Си, прикладная часть выполняется на LuaJIT, поддерживается распараллеливание вычислений средствами CUDA и OpenMP. Существуют реализации k-means.
<li>[http://www.cs.waikato.ac.nz/ml/weka/ Weka]</li> Cвободное программное обеспечение для анализа данных, написанное на Java. Содержит k-means и x-means.
<li>[http://accord-framework.net/docs/html/T_Accord_MachineLearning_KMeans.htm Accord.NET]</li> C# реализация алгоритмов k-means, k-means++, k-modes.
<li>[http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_kmeans/py_kmeans_opencv/py_kmeans_opencv.html OpenCV]</li> Написанная на С++ библиотека, направленная в основном на решение задач компьютерного зрения. Содержит реализацию k-means.
<li>[http://mlpack.org/ MLPACK]</li> Масштабируемая С++ библиотека для работы с алгоритмами машинного обучения, содержит реализацию k-means.
<li>[https://www.scipy.org/ SciPy]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[http://scikit-learn.org/ scikit-learn]</li> Библиотека Python, содержит множество реализаций k-means.
<li>[https://www.r-bloggers.com/k-means-clustering-in-r/ R]</li> Язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU, содержит три реализации k-means.
<li>[http://elki.dbs.ifi.lmu.de ELKI]</li> Java фреймворк, содержащий реализацию k-means, а также множество других алгоритмов кластеризации.
</ol>
==== Проприетарное программное обеспечение ====

<ol>
<li>[https://www.ayasdi.com/blog/bigdata/topological-data-analysis-of-oil-and-gas-petrophysical-data/ Ayasdi]</li>
<li>[http://www.stata.com/features/cluster-analysis/ Stata]</li>
<li>[http://mathworld.wolfram.com/K-MeansClusteringAlgorithm.html Mathematica]</li>
<li>[http://www.mathworks.com/help/stats/kmeans.html?requestedDomain=www.mathworks.com MATLAB]</li>
<li>[https://support.sas.com/rnd/app/stat/procedures/fastclus.html SAS]</li>
<li>[http://docs.rapidminer.com/studio/operators/modeling/segmentation/k_means.html RapidMiner]</li>
<li>[https://blogs.sap.com/2013/03/28/sap-hana-pal-k-means-algorithm-or-how-to-do-customer-segmentation-for-the-telecommunications-industry/ SAP HANA]</li>
</ol>
== Литература ==
<references />