Просмотр кода страницы Участник:Каледа Александр/Строгий алгоритм С средних (Hard C-Means)

{{Assignment|{{REVISIONUSER}}}}

{{algorithm
| name              = Строгий алгоритм С средних (Hard C-Means)
| serial_complexity = <math>O(nmC)</math>
| pf_height         = <math>O(nClog_2(nC))</math>
| pf_width          = <math>O(n)</math>
| input_data        = <math>nm+1</math>
| output_data       = <math>(n+m)C</math>
}}

Авторы описания: [[Участник:Каледа_Александр|Каледа Александр]] (разделы [[#Общее описание алгоритма|1.1]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]]), [[Участник:Шапулин_Андрей|Шапулин Андрей]] (разделы [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Информационный граф|1.7]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации алгоритма|2.7]]).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Строгий алгоритм C средних''' ('''''Hard C-Means, HCM'''''; ''Jang, Sun and Mizutani, 1997''<ref>Jang, J.-S. R., Sun, C.-T. and Mizutani, E. (1997). Neuro-Fuzzy and Soft Computing, number
isbn 0-13-261066-3 in Matlab Curriculum Series, Prentice Hall, Upper Saddle River, NJ, USA.</ref>) один из наиболее широко используемых алгоритмов кластеризации данных<ref>[http://faculty.petra.ac.id/resmana/private/fuzzy/nfmod.pdf Jantzen J. Neurofuzzy Modelling. 1998. Электронное издание. 28 Стр.]</ref>. Алгоритм разбивает большие наборы векторов в многомерном пространстве по заранее заданному количеству кластеров (т.е. является управляемым).

На вход алгоритму подается набор векторов и количество кластеров. Дополнительно может задаваться пороговая величина объектной функции, при достижении которой алгоритм останавливается. После окончания работы алгоритма каждый вектор будет отнесет к определенному кластерному центру. Алгоритм, являясь итерационным, зависит от начальных значений кластерных центров, а следовательно может не сходиться к локальному минимуму.

На первом шаге алгоритма происходит инициализация кластерным центров, это можно сделать выбрав случайным образом вектора из входного набора. На следующем шаге начинается итерационный процесс, завершающийся при достижении порогового значения объектной функцией или при минимальном отличии, от значения на предыдущей итерации.

Вычисления, выполняющиеся на очередной итерации алгоритма:

# Расчёт рядовой матрицы (сопоставление вектора соответствующему кластерному центру).
# Расчёт объектной функции.
# Пересчёт кластерных центров.

=== Математическое описание алгоритма ===
Исходные данные: матрица <math>U\in \mathbb{R}^{n\times m}</math>, представляющая собой набор векторов <math>\{u_i\}_{i=1}^{n}, u_i \in \mathbb{R}^m</math>; количество кластеров <math>C \in \mathbb{N}</math>.

Вычисляемые данные: набор векторов - кластерных центров <math>\{c_i\}_{i=1}^{C}, c_i \in \mathbb{R}^m</math>; матрица <math>M\in \mathbb{N}^{n\times C}</math> c информацией о разбиении объектов на кластера. Элемент <math>m_{ij}=1</math>, если <math>u_j \in C_i</math>, где <math>C_i</math> содержит все объекты <math>u</math>, принадлежащие кластеру <math>i</math>. Остальные элементы <math>m_{ij}=0</math>.

Алгоритм:

Шаг 1. Инициализация кластерных центров <math>c_i, i = 1, 2, \dots, C.</math> Это можно сделать выбрав случайным образом C векторов из входного набора <math>\{u_i\}_{i=1}^{n}</math>

Шаг 2. Вычисление рядовой матрицы M. 

Матрица <math>M</math> состоит из элементов <math>M = \|m_{ik}\|</math>.

:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,n)\\
0, & \text{otherwise}.
\end{cases}
</math>

Шаг 3. Расчет объектной функции: 

:<math>
J = \sum\limits_{i=1}^C J_i = \sum\limits_{i=1}^C \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)</math>.

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

Шаг 4. Пересчет кластерных центров. 

Пересчет кластерных центров выполняется в соответствии со следующим уравнением: 
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где <math>|C_i|</math> -- количество элементов в <math>i</math>-ом кластере.

Шаг 5. Переход на шаг 2.

Описание взято из <ref>[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf Нейский И.М. Классификация и сравнение методов кластеризации // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. – М.: НОК «CLAIM», 2006. – Выпуск 8. – С. 130-142.]</ref>.

=== Вычислительное ядро алгоритма ===
Вычислительное ядро алгоритма Hard C-Means можно составить из множественных (всего их <math>nC</math>) вычислений квадратов нормы разности векторов <math>u_k</math> и кластерных центров <math>c_i</math>: <math>\|u_k-c_i\|^2</math>.

=== Макроструктура алгоритма ===
Как записано и в описании ядра алгоритма, основную часть метода составляют множественные (<math>Cn</math>) вычисления квадратов норм:

:<math>\|u_k-c_i\|^2</math>.

Также присутствуют данные вычислительные операции:

* Суммирование квадратов норм векторов:

:<math>
J = \sum\limits_{i=1}^C J_i = \sum\limits_{i=1}^C \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
</math>

* Поэлементное суммирование векторов:

:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k
</math>

=== Схема реализации последовательного алгоритма ===
Итерационный блок алгоритма можно описать на языке Python следующим образом:

<source lang="python3">
for i in range(n):
    idx_min = 0
    dist_min  = ((u[i] - c[0]) ** 2).sum()

    for j in range(1, C):
        dist  = ((u[i] - c[j]) ** 2).sum()
        if dist < dist_min:
            idx_min = j
            dist_min = dist

    M[i, idx_min] = 1
    c_next[idx_min] += u[i]
    c_next_cnt[idx_min] += 1
    J += dist_min
</source>

=== Последовательная сложность алгоритма ===
Предполагаем, что предельная точность алгоритма достигаема менее, чем за <math>n</math> итераций. Иначе использование алгоритма можно считать нерациональным. Также предположим, что размерность <math>m</math> и количество кластерных центров <math>C</math> существенно меньше <math>n</math>.

Операция вычисления квадрата нормы разности векторов требует выполнения <math>m-1</math> арифметических операций сложения, <math>m</math> операций вычитания и <math>m</math> операций умножения.

Каждая итерация алгоритма требует выполнения:
* <math>nC</math> операций вычисления квадрата нормы разности векторов;
* <math>nC</math> операций сравнения квадрата нормы;
* <math>3n</math> операций сложения;

Таким образом, на каждой итерации имеем:
* <math>mnC</math> операций умножения;
* <math>(2mC + 3)n</math> арифметических операций сложения и вычитания;

В итоге имеем сложность последовательной реализации алгоритма <math>O(nmC)</math>.

=== Информационный граф ===
Граф алгоритма состоит из 4 видов вершин:

'''Первая''' группа вершин отмечена символом '''''M'''''. Ей соответствует вычисление минимального расстояния до кластерных центров, а также запись единицы в соответствующий столбец матрицы, обозначающей принадлежность кластерному центру:
* независимое вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров;
* последовательное сравнение полученных значений с целью отыскания максимума;
* операция записи 1 в соответствующий столбец матрицы принадлежности кластерным центрам;

'''Вторая''' вершина отмечена символом '''''J''''', на этом этапе происходит итоговый расчёт объектной функции.

'''Третья''' вершина помечена '''''if''''', на этом этапе происходит проверка условия достижения требуемой точности.

'''Четвертая''' соответствует операции пересчёта кластерных центров, она отмечена как '''''C'''''.

[[File:Cmeans.png|thumb|800px|center|Рисунок 1. Информационный граф алгоритма. Здесь '''''in''''' — ввод входных данных, '''''M''''' — вычисление минимального расстояния до кластерных центров и проставление принадлежности соответствующему кластерному центру, '''''J''''' — вычисление объектной функции по результатам полученных вычислений, '''''if''''' — проверка условия достижения желаемой точности, '''''C''''' — пересчёт кластерных центров и '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===
Основной ресурс параллелизма алгоритма составляет итерационный блок. Эта последовательность итераций может быть выполнена для каждого входного вектора <math>u_i</math> независимо. Однако, в конце выполнения каждого итерационного блока имеют место последовательные вычисления - сложение значений объектной функции, полученных независимо на каждом процессоре, а также перерасчет кластерных центров.

Число итераций алгоритма оценим как <math>O(nC)</math>. Исходя из того, что сложность вычислительного блока <math>M</math> равна <math>log_2(C)</math>, а сложность расчета функционала <math>J</math> составляет <math>log_2(n)</math>, имеем, что высота итерации составляет <math>log_2(nC)</math>. Таким образом, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] оценивается как <math>O(nClog_2(nC))</math>.

Ширина [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] равна <math>n</math>.

Необходимо учитывать, что при небольшом объеме входной выборки, параллельная реализация алгоритма может лишь понизить производительность. В первую очередь это связано с пересылкой данных для вычисления итоговых значений объектной функции и кластерных центров.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' матрица <math>U\in \mathbb{R}^{n\times m}</math>, представляющая собой набор векторов <math>\{u_i\}_{i=1}^{n}, u_i \in \mathbb{R}^m</math>; количество кластеров <math>C \in \mathbb{N}</math>.

'''Объём входных данных:''' <math>nm+1</math>.

'''Выходные данные:''' набор векторов - кластерных центров <math>\{c_i\}_{i=1}^{C}, c_i \in \mathbb{R}^m</math>; матрица <math>M\in \mathbb{N}^{n\times C}</math> c информацией о разбиении объектов на кластера. Элемент <math>m_{ij}=1</math>, если <math>u_j \in C_i</math>, где <math>C_i</math> содержит все объекты <math>u</math>, принадлежащие кластеру <math>i</math>. Остальные элементы <math>m_{ij}=0</math>.

'''Объём выходных данных:''' <math>(n+m)C</math>.

=== Свойства алгоритма ===
Достоинства:

* лёгкость реализации;
* вычислительная простота;
* может служить для кластеризации больших наборов числовых данных;

Недостатки:

* задание количества кластеров;
* отсутствие гарантии в нахождении оптимального решения;

Соотношение последовательной и параллельной сложности алгоритма: линейное.

Вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных равна константе.

Алгоритм является недетерминированным, т.к. он является итерационным с выходом по точности, а также использует датчик случайных чисел для инициализации кластерных центров.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===	
=== Локальность данных и вычислений ===	
==== Локальность реализации алгоритма ====	
===== Структура обращений в память и качественная оценка локальности =====	
===== Количественная оценка локальности =====	
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации строгого алгоритма C средних согласно [[Scalability methodology|методике]].

Исследование проводилось на 1U сервере со '''следующими характеристиками''':
*	2 x Intel® Xeon® Processor E5-2697 v2, всего 24 физических ядра (48 логических ядра при включенном Hyper-Threading);
*	128GB RAM;

==== Масштабируемость реализации алгоритма ====
Сборка осуществлялась со следующими параметрами:

*	GCC-4.8.4;
*	OpenMP-3.1;
*	аргументы компилятора: -std=c++11 -O3;

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: 

*	число логических ядер [1 : 48] с шагом 2;
*	размерность пространства [3 : 50] c шагом 3;
*	число векторов 100 000 000;
*	число кластерных центров 30;

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма (отношение реальной производительности программы к пиковым показателям работы вычислительной системы):

*	минимальная эффективность реализации 0.014;
*	максимальная эффективность реализации 0.9;

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации HCM в зависимости от изменяемых параметров запуска.

[[file:1new.png|thumb|center|700px|Рисунок 2. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размерности векторов.]]
[[file:2new.png|thumb|center|700px|Рисунок 3. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размерности векторов.]]

==== Реализация на языке C++ ====
[http://pastebin.com/31UkHgcW Исследованная параллельная реализация на языке C++]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация алгоритма на MatLab]
* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация алгоритма на С++]

== Литература ==
<references />