Алговики - Вклад [ru]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T15:56:13Z

Темербекова Гульгайша: /* Ресурс параллелизма алгоритма */

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(IncK)</math>
| pf_height = <math>O(I(log_2(K) + log_2(c)))</math>
| pf_width = <math>O(ncK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(IncK)</math>, где <math>I</math> предполагаемое число итераций <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.

Если мы разделим объектную функцию <math>J</math> на <math>c</math> независимых процессов, то высота ЯПФ будет составлять <math>O(I(log_2(K) + log_2(c)))</math>, где <math>I</math> -число итераций, <math>log_2(K)</math> - число операций для суммирования <math>K</math> элементов для расчёта <math>J</math>, <math>log_2(c)</math> - число операций для нахождение минимального расстояния до кластерных центров. Ширина ЯПФ составляет <math>O(ncK)</math>, где <math>n</math> - размерность.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T15:55:18Z

Темербекова Гульгайша:

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(IncK)</math>
| pf_height = <math>O(I(log_2(K) + log_2(c)))</math>
| pf_width = <math>O(ncK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(IncK)</math>, где <math>I</math> предполагаемое число итераций <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.

Если мы разделим объектную функцию <math>J</math> на <math>c</math> независимых процессов, то высота ЯПФ будет составлять <math>O(I(log_2(K) + log_2(c)))</math>, где <math>I</math> -число итераций, <math>log_2(K)</math> - число операций для суммирования <math>K</math> элементов для расчёта <math>J</math>, log_2(c) - число операций для нахождение минимального расстояния до кластерных центров. Ширина ЯПФ составляет <math>O(ncK)</math>, где <math>n</math> - размерность.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T15:54:55Z

Темербекова Гульгайша: /* Последовательная сложность алгоритма */

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(I(log_2(K) + log_2(c)))</math>
| pf_width = <math>O(ncK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(IncK)</math>, где <math>I</math> предполагаемое число итераций <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.

Если мы разделим объектную функцию <math>J</math> на <math>c</math> независимых процессов, то высота ЯПФ будет составлять <math>O(I(log_2(K) + log_2(c)))</math>, где <math>I</math> -число итераций, <math>log_2(K)</math> - число операций для суммирования <math>K</math> элементов для расчёта <math>J</math>, log_2(c) - число операций для нахождение минимального расстояния до кластерных центров. Ширина ЯПФ составляет <math>O(ncK)</math>, где <math>n</math> - размерность.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T15:52:08Z

Темербекова Гульгайша:

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(I(log_2(K) + log_2(c)))</math>
| pf_width = <math>O(ncK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.

Если мы разделим объектную функцию <math>J</math> на <math>c</math> независимых процессов, то высота ЯПФ будет составлять <math>O(I(log_2(K) + log_2(c)))</math>, где <math>I</math> -число итераций, <math>log_2(K)</math> - число операций для суммирования <math>K</math> элементов для расчёта <math>J</math>, log_2(c) - число операций для нахождение минимального расстояния до кластерных центров. Ширина ЯПФ составляет <math>O(ncK)</math>, где <math>n</math> - размерность.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T15:51:27Z

Темербекова Гульгайша:

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math><math>O(I(log_2(K) + log_2(c)))</math></math>
| pf_width = <math>O(ncK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.

Если мы разделим объектную функцию <math>J</math> на <math>c</math> независимых процессов, то высота ЯПФ будет составлять <math>O(I(log_2(K) + log_2(c)))</math>, где <math>I</math> -число итераций, <math>log_2(K)</math> - число операций для суммирования <math>K</math> элементов для расчёта <math>J</math>, log_2(c) - число операций для нахождение минимального расстояния до кластерных центров. Ширина ЯПФ составляет <math>O(ncK)</math>, где <math>n</math> - размерность.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T15:50:09Z

Темербекова Гульгайша: /* Ресурс параллелизма алгоритма */

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(K)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.

Если мы разделим объектную функцию <math>J</math> на <math>c</math> независимых процессов, то высота ЯПФ будет составлять <math>O(I(log_2(K) + log_2(c)))</math>, где <math>I</math> -число итераций, <math>log_2(K)</math> - число операций для суммирования <math>K</math> элементов для расчёта <math>J</math>, log_2(c) - число операций для нахождение минимального расстояния до кластерных центров. Ширина ЯПФ составляет <math>O(ncK)</math>, где <math>n</math> - размерность.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T15:49:16Z

Темербекова Гульгайша: /* Ресурс параллелизма алгоритма */

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(K)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.

Если мы разделим объектную функцию <math>J</math> на <math>c</math> независимых процессов, то высота ЯПФ будет составлять <math>I(log_2(K) + log_2(c))</math>, где <math>I</math> -число итераций, <math>log_2(K)</math> - число операций для суммирования <math>K</math> элементов для расчёта <math>J</math>, log_2(c) - число операций для нахождение минимального расстояния до кластерных центров. Ширина ЯПФ составляет <math>O(ncK)</math>, где <math>n</math> - размерность.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-19T14:36:23Z

Темербекова Гульгайша:

{{Assignment|Coctic}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(K)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(K)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T16:04:30Z

Темербекова Гульгайша: /* Последовательная сложность алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений), где <math>n</math> - размерность.

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(K)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T16:00:06Z

Темербекова Гульгайша: /* Ресурс параллелизма алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>c</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>c-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(K)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T23:50:02Z

Темербекова Гульгайша:

{{Assignment}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T23:47:28Z

Темербекова Гульгайша:

{{Assingnent}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T23:37:39Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel opemmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T23:37:12Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel opemmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T23:22:17Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T17:10:03Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график реализации алгоритма Hard C - Means (HCM).

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T17:09:38Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график реализации алгоритма Hard C - Means (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-15T17:08:00Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации алгоритма Hard C - Means (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:49:31Z

Темербекова Гульгайша:

{{Assignment}}

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации алгоритма Hard C - Means (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:49:02Z

Темербекова Гульгайша:

{{Assignent}}

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации алгоритма Hard C - Means (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:47:04Z

Темербекова Гульгайша:

{Assignent}

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации алгоритма Hard C - Means (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:45:38Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации алгоритма Hard C - Means (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:40:40Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации алгоритма Hard C - Means (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:36:34Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации строгого алгоритма C средних (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации строгого алгоритма C средних (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:24:05Z

Темербекова Гульгайша: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации строгого алгоритма C средних (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации строгого алгоритма C средних (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-12T17:22:35Z

Темербекова Гульгайша: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации строгого алгоритма C средних (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168 [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Программа написана на языке C с использованием [http://hpc.cmc.msu.ru/bgp/development/parallel MPI], не использовалось дополнительных опций.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На следующем рисунке приведен график [[Глоссарий#Производительность|производительности]] выбранной реализации строгого алгоритма C средних (HCM).
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Обсуждение участника:Шишков Илья Сергеевич

2016-10-31T20:47:01Z

Темербекова Гульгайша: /* Статья Алгоритм HCM (Hard C – Means) */

= Статья [[Алгоритм HCM (Hard C – Means)]] =
* Не указан вклад каждого автора [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:47, 25 октября 2016 (MSK)
* п. 1.1 Стоит добавит ссылку на публикацию, в которой алгоритм был впервые описан (Jang, Sun and Mizutani) [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:47, 25 октября 2016 (MSK)
* п. 1.3 Сказано, что "На каждой итерации алгоритма происходит <math>CN</math> таких вычислений", однако определений C и N не приведено ни здесь, ни ранее. Ранее имеется определение для c (c малого), но это другой символ. [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:47, 25 октября 2016 (MSK)
* Ссылки в списке литературы не содержат данных публикации, кроме названия и списка авторов. Веб-ссылки на какую-то версию публикации недостаточно. [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:52, 25 октября 2016 (MSK)

** Замечания были приняты и исправлены огрехи. [[Участник:Темербекова_Гульгайша|Темербекова_Гульгайша]] ([[Обсуждение участника:Темербекова_Гульгайша|обсуждение]]) 23:40, 31 октября 2016 (MSK)

Обсуждение участника:Шишков Илья Сергеевич

2016-10-31T20:40:48Z

Темербекова Гульгайша: /* Статья Алгоритм HCM (Hard C – Means) */

= Статья [[Алгоритм HCM (Hard C – Means)]] =
* Не указан вклад каждого автора [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:47, 25 октября 2016 (MSK)
* п. 1.1 Стоит добавит ссылку на публикацию, в которой алгоритм был впервые описан (Jang, Sun and Mizutani) [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:47, 25 октября 2016 (MSK)
* п. 1.3 Сказано, что "На каждой итерации алгоритма происходит <math>CN</math> таких вычислений", однако определений C и N не приведено ни здесь, ни ранее. Ранее имеется определение для c (c малого), но это другой символ. [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:47, 25 октября 2016 (MSK)
* Ссылки в списке литературы не содержат данных публикации, кроме названия и списка авторов. Веб-ссылки на какую-то версию публикации недостаточно. [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:52, 25 октября 2016 (MSK)

Замечания были приняты и исправлены огрехи. [[Участник:Темербекова_Гульгайша|Темербекова_Гульгайша]] ([[Обсуждение участника:Темербекова_Гульгайша|обсуждение]]) 23:40, 31 октября 2016 (MSK)

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T20:30:03Z

Темербекова Гульгайша:

{{Assignment}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T20:29:24Z

Темербекова Гульгайша: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T20:28:43Z

Темербекова Гульгайша: /* Последовательная сложность алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T20:27:25Z

Темербекова Гульгайша: /* Математическое описание алгоритма Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering. ISSN-PRINT: 2319-…

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010, Volume 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T20:17:05Z

Темербекова Гульгайша: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering. ISSN-PRINT: 2319-2526. p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010, Volume 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T20:08:57Z

Темербекова Гульгайша: /* Последовательная сложность алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering. ISSN-PRINT: 2319-2526. p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010, Volume 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T20:04:27Z

Темербекова Гульгайша: /* Математическое описание алгоритма Arabinda Panda & Satchidananda Dehuri, Hard C-means Clustering Algorithm in Gene Expression Data [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf] */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering. ISSN-PRINT: 2319-2526. p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T19:28:27Z

Темербекова Гульгайша:

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri, Hard C-means Clustering Algorithm in Gene Expression Data [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T19:24:51Z

Темербекова Гульгайша:

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1-4, 8), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri, Hard C-means Clustering Algorithm in Gene Expression Data [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-31T19:13:59Z

Темербекова Гульгайша: /* Вычислительное ядро алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri, Hard C-means Clustering Algorithm in Gene Expression Data [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Темербекова Гульгайша

2016-10-22T14:55:03Z

Темербекова Гульгайша:

Студентка ВМК, группа 618/2, e-mail: gulgaisha93@mail.ru

#перенаправление [[Алгоритм HCM (Hard C – Means)]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T19:11:09Z

Темербекова Гульгайша:

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T19:10:02Z

Темербекова Гульгайша:

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T19:09:27Z

Темербекова Гульгайша:

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T19:08:01Z

Темербекова Гульгайша: /* Последовательная сложность алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T18:58:11Z

Темербекова Гульгайша: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T18:43:43Z

Темербекова Гульгайша:

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T18:41:39Z

Темербекова Гульгайша: /* Входные и выходные данные алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T18:40:53Z

Темербекова Гульгайша:

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
#<math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
#<math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
*<math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
*<math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T18:22:28Z

Темербекова Гульгайша: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T18:21:16Z

Темербекова Гульгайша: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(K)</math>, если число итераций меньше объема выборки.

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T17:58:35Z

Темербекова Гульгайша: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.