Алговики - Вклад [ru]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:55:36Z

Шишков Илья Сергеевич: /* Схема реализации последовательного алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in c_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|c_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|c_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:55:04Z

Шишков Илья Сергеевич: /* Схема реализации последовательного алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in c_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:54:04Z

Шишков Илья Сергеевич: /* Макроструктура алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:53:10Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-…

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:51:05Z

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in с_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|с_{j}|} \sum_{u_{i} \in с_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|с_{j}| </math> - число элементов, принадлежащих кластеру <math>с_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:46:38Z

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{K}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:45:32Z

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-18T15:44:39Z

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7, 2.4), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3, 2.4)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>n</math> - количество наборов в <math>U</math>

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Hard C - Means (HCM). Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с пиковой производительностью 1,7 Пфлопс, число процессоров/ядер x86: 12 346 / 52 168. Программа написана на языке C с использованием [https://parallel.ru/cluster/lomonosov_howto MPI], не использовалось дополнительных опций. Использовалась следующая [https://github.com/cNikolaou/mpi-kmeans параллельная реализация алгоритма HCM].
Компилятор: gcc.
Версия MPI - intel openmpi/1.8.4-icc.
Модель используемого CPU - Intel Xeon X5570 2.93GHz.

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число ядер <math>[16 : 256]</math> с шагом по степеням двойки;
* объём выборки <math>[10^3:10^7]</math> с шагом по степеням десятки;

На рисунке приведена параллельная реализация алгоритма Hard C - Means (HCM). Изменение вычислительного времени алгоритма в зависимости от числа ядер и размера исходных данных.

[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-12-11T16:07:01Z

Шишков Илья Сергеевич: /* Масштабируемость реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]] (1.1-1.4, 2.7), [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]] (1.5-1.10, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri. Hard C-means Clustering Algorithm in Gene Expression Data // International Journal on Advanced Computer Theory and Engineering, ISSN-PRINT: 2319-2526. - 2013. - v. 2. - p. 35-39 [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>cK</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-fuzzy and soft computing: a computational approach to learning and machine intelligence. Prentice-Hall, Inc. Simon & Schuster/A Viacom Company Upper Saddle River, NJ 07458. - 1997. - p. 424. [http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Sharma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm // International Journal of information Technology and Knowledge Management. - July-December 2010. - v. 2 [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
[[Файл:scheme1.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:35:22Z

Шишков Илья Сергеевич:

{{Assignment}}

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri, Hard C-means Clustering Algorithm in Gene Expression Data [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:33:23Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма <ref>Arabinda Panda & Satchidananda Dehuri, Hard C-means Clustering Algorithm in Gene Expression Data [http://www.irdindia.in/journal_ijacte/pdf/vol2_iss1/8.pdf]</ref> ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:30:18Z

Шишков Илья Сергеевич: /* Существующие реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:30:07Z

Шишков Илья Сергеевич: /* Существующие реализации алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

* [https://github.com/artpar/Hard-Clustering-implementation Последовательная реализация на С++ ]

* [http://projects.jasmeet.me/2013/03/HardCMeans.html Последовательная реализация на MatLab ]

== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:28:02Z

Шишков Илья Сергеевич: /* Входные и выходные данные алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c^*_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:27:05Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>C_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:26:22Z

Шишков Илья Сергеевич: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:25:58Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in C_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|C_{j}|} \sum_{u_{i} \in C_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|C_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:24:28Z

Шишков Илья Сергеевич: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} u_{i}, j=1,2,3..,c</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:22:50Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K)\\
0, & \text{other}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:22:02Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c^*_{1}, c^*_{2}, ... c^*_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:20:56Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c_{1}, c_{2}, ... c_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> c^*_{j} = \frac{1}{|c_{j}|} \sum_{u_{i} \in c_{j}}^{} c_{i}, j=1,2,3..,c</math>

где <math>|c_{j}| </math> - число элементов, принадлежащих кластеру <math>c_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:19:52Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>c_{1}, c_{2}, ... c_{c}, M</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:19:02Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>M_{1}, M_{2}, ... M_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{c} \sum_{u_{i} \in c_{j}}^{} \|u_{i}-c_{j}\|^2, j \in 1,2, ... c, i={1,2, ...K}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:17:52Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>M_{1}, M_{2}, ... M_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>u_{1},u_{2}, ... u_{n}</math> выбираются <math>c</math> начальных кластерных центра <math> c_{1},c_{2},...,c_{c}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:17:05Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>u_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>M_{1}, M_{2}, ... M_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:16:14Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>U</math> - наборы данных

<math>U_{i}</math> - i-ый набор из <math>U</math>

<math>u</math> - любой набор из <math>U</math>

<math>K</math> - количество наборов в <math>U</math>

<math>c_{j}</math> - j-ый кластер

<math>c</math> - количество кластеров

<math>c_{j}</math> - j-ый кластерный центр

<math>c^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>M_{1}, M_{2}, ... M_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:12:26Z

Шишков Илья Сергеевич: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:11:56Z

Шишков Илья Сергеевич: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
\|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k.
</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:11:29Z

Шишков Илья Сергеевич: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
d_{ki} = \|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k.
</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-17T22:10:14Z

Шишков Илья Сергеевич: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(ncK)</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(cK)</math>
| input_data = <math>O(nK)</math>
| output_data = <math>O(c(K+n))</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===
Основной операцией алгоритма является операция нахождения квадратов расстояний между исходными векторами и кластерными центрами.

<math>
d_{ki} = \|u_k-c_i\|^2
</math>

При вычислении объектной функции производится суммирование полученных расстояний:

<math>
J = \sum\limits_{i=1}^C J_i = \sum\limits_{i=1}^C \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right),
</math>

При перерасчете кластерных центров происходит суммирование векторов:

<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k.
</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая <ref> Нейский И.М. Классификация и сравнение методов кластеризации[http://it-claim.ru/Persons/Neyskiy/Article2_Neiskiy.pdf]</ref>:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(cn+1)</math> сложений,
* <math>K(c-1)</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math> <ref> Pawan Kumar, Mr. Pankaj Verma, Rakesh Shrma. Comparative analysis of Fuzzy C-mean and Hard C-mean algorithm [http://csjournals.com/IJITKM/PDF%203-1/39.pdf]</ref>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - нахождение минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Ресурс параллелизма алгоритма ===

Для одной итерации алгоритма в параллельном варианте требуется <math>K</math> раз последовательно выполнить для каждого <math>u_i</math> следующие ярусы:
* <math>C</math> операций нахождения расстояния от элемента <math>u_i</math> до каждого из кластерных центров.
* <math>C-1</math> сравнений, для нахождения минимального расстояния.
* операция записи единички в столбец матрицы <math>M</math>.

Основным ресурсом алгоритма является вычисление квадрата нормы для каждого <math>u_i</math>. Расчёт значения объектной функции <math>J</math> сложно представить в параллельном варианте, поэтому вычисление объектной функции производится последовательно.Использование параллельной реализации алгоритма приведёт к понижению производительности при небольшой размерности системы и малом объеме выборки. При параллельном варианте необходима пересылка данных, что при малом объеме выборки и небольшой размерности займет больше времени, чем при последовательном варианте.
Как легко видеть из информационного графа, высота [[глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] составляет <math>O(1)</math>, ширина ЯПФ составляет <math>O(cK)</math>, если число итераций меньше объема выборки.

=== Входные и выходные данные алгоритма ===

'''Входные данные:'''
# <math>\{u_k\}_{k=1}^{K}</math> — исходный набор векторов, принадлежащие пространству <math>\mathbb{R}^n</math>;
# <math>c</math> — количество кластеров;

'''Объём входных данных:''' <math>nK</math>.

'''Выходные данные:'''
# <math>M</math> — матрица, принадлежащая пространству <math>\mathbb{R}^{c \times K}</math>.
# <math>\{c_i\}_{i=1}^{c}</math> — набор построенных кластерных центров.

'''Объём выходных данных:''' <math>c(K+n)</math>.

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
== Литература ==
<references />

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T21:07:21Z

Шишков Илья Сергеевич: /* Общее описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1.'''Инициализация: '''

Случайным образом определяются C векторов - центров кластеров

2. '''Расчет рядовой матрицы:'''

В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. '''Расчет оценочной функции:'''

Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. '''Переопределение кластерных центров'''

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T21:06:18Z

Шишков Илья Сергеевич: /* Общее описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:

1. Инициализация:
Случайным образом определяются C векторов - центров кластеров

2. Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром

3. Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае

4. Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T21:05:49Z

Шишков Илья Сергеевич: /* Общее описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1. Инициализация:
Случайным образом определяются C векторов - центров кластеров
2. Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3. Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4. Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T21:04:21Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>|v_{j}| </math> - число элементов, принадлежащих кластеру <math>v_{j}</math>

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T21:03:31Z

Шишков Илья Сергеевич: /* Свойства и структура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>v_{j} </math> - число элементов, принадлежащих кластеру v_{j}

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''<math>c_1,...,c_c</math>''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''<math>c_1,...,c_c</math>''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''<math>c_1,...,c_c</math>''''', '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T21:00:34Z

Шишков Илья Сергеевич: /* Вычислительное ядро алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>v_{j} </math> - число элементов, принадлежащих кластеру v_{j}

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле <math>\|u_k-c_i\|^2</math>. На каждой итерации алгоритма происходит <math>CN</math> таких вычислений.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''c_{1},...,c_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''c_{1},...,c_{c}''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''с_{1},...,c{c}''''', '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===

'''Назначение:''' кластеризация больших наборов числовых данных.

'''Достоинства:''' легкость реализации,вычислительная простота.

'''Недостатки:''' задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:59:07Z

Шишков Илья Сергеевич: /* Вычислительное ядро алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>v_{j} </math> - число элементов, принадлежащих кластеру v_{j}

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром данного алгоритма является вычисление на каждой итерации алгоритма квадратов норм между кластерными центрами и векторами из входного набор согласно формуле

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''c_{1},...,c_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход в '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1. '''''in''''' - входные данные, '''''c_{1},...,c_{c}''''' - вычисление расстояния до кластерных центров и значение <math>u_i</math> единое для каждой группы '''''с_{1},...,c{c}''''', '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров, '''''M''''' - запись единички в столбец матрицы, '''''J''''' - расчёт объектной функции, '''''Conversion''''' — пересчёт кластерных центров, '''''out''''' — вывод полученных данных.]]

=== Свойства алгоритма ===
Назначение: кластеризация больших наборов числовых данных.
Достоинства : легкость реализации,вычислительная простота.
Недостатки: задание количества кластеров,отсутствие гарантии в нахождении оптимального решения

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:43:57Z

Шишков Илья Сергеевич: /* Свойства и структура алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>v_{j} </math> - число элементов, принадлежащих кластеру v_{j}

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Вычислительное ядро алгоритма ===

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''d_{1},...,d_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1.]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:42:51Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>v_{j} </math> - число элементов, принадлежащих кластеру v_{j}

'''Шаг 5'''

Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''d_{1},...,d_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1.]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:41:57Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

где <math>v_{j} </math> - число элементов, принадлежащих кластеру v_{j}

'''Шаг 5'''
Если алгоритм не завершил свою работу на шаге 3 то переходим к шагу 2.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''d_{1},...,d_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1.]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:38:23Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} \sum_{x_{i} \in v_{j}}^{} x_{i}, j=1,2,3..,C</math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''d_{1},...,d_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1.]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:36:13Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}|} </math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из пяти групп вершин.

'''Первая''' группа вершин '''''d_{1},...,d_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.

'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.

'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.

'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход '''''Out''''', в противном случае '''''Conversion'''''.

'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1.]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:35:23Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{v_{j}} </math>

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
опишем граф как аналитически, так и в виде рисунка.

Граф алгоритма состоит из шести групп вершин.

'''Первая''' группа вершин '''''d_{1},...,d_{c}''''' - прямое вычисление расстояния до кластерных центров, то есть вычисление расстояний от заданного элемента <math>u_i</math> до каждого из кластерных центров.
'''Вторая''' группа вершин '''''min''''' - ей соответствует вычисление минимального расстояния до кластерных центров,передача найденного минимального расстояния и соответствующего ему индекса кластера.
'''Третья''' группа вершин '''''M''''' - ей соответствует операция записи единички в столбец матрицы.
'''Четвертая''' группа вершин '''''J''''' - вычисление объектной функции, происходит проверка условия достижения необходимой точности, если достигли заданной точности то переход '''''Out''''', в противном случае '''''Conversion'''''.
'''Пятая''' группа вершин '''''Conversion''''' - пересчёт кластерных центров и переход на следующую итерацию.

На рисунке изображена одна итерация алгоритма.

[[File:Picture.png|thumb|600px|center|Рисунок 1.]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:32:52Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм HCM (Hard C – Means)
| serial_complexity = <math>O(n^3)</math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math>O(n^2)</math>
| output_data = <math>O(n^2)</math>
}}

Основные авторы описания: [[Участник:Шишков_Илья_Сергеевич|Илья Шишков]], [[Участник:Темербекова_Гульгайша|Гульгайша Темербекова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Алгоритм HCM (Строгий алгоритм С-средних) был предложен группой исследователей(Jang, Sun and Mizutani) в 1997 и относится к классу алгоритмов со строгой кластеризаций.

Кластеризацией называется подход к описанию данных, в котором наиболее схожие данные объединяются в группы(кластеры). Кластеризация является распространенным подходом для анализа данных и используется во многих сферах научной деятельности, таких как машинное обучение, анализ данных, распознавание шаблонов, анализ изображений и биоинформатика.

Кластеризация представляет собой комбинирование рассматриваемых объектов так, чтобы каждая группа объектов обладала схожим свойством. В общем случае кластеризация характеризуются следующими критериями:
- Каждая группа или кластер однородны; объекты, принадлежащие одной группе имеют схожие свойства;
- Каждая группа или кластер отличаются от других кластеров т.е. объекты, принадлежащие одному кластеру, должны отличатся от объектов других кластеров

В строгой кластеризации наборы данных разделяются на кластеры однозначно. Каждый набор данных может относится только к одному кластеру.
Строгой кластеризации характеризуется следующими свойствами:
- Используется для классификации данных в однозначные наборы
- Каждый набор данных принадлежит только одному кластеру
- Кластеры также называют разделами
- Результатом работы кластерного алгоритма является матрица соответствия которая показывает, к какому кластеру принадлежит каждый набор данных

В этом кластерном алгоритме не допускается частичное отношение к кластеру (как в FCM). HCM предназначен для классификации входных наборов в строгом смысле. В строгом алгоритме С-средних данные классифицируются по кластерам однозначно, т.е. при определенном заранее критерии, каждый элемент данных может принадлежать одному и только одному кластеру.

Алгоритм HCM является итеративным и состоит из нескольких шагов:
1) Инициализация:
Случайным образом определяются C векторов - центров кластеров
2) Расчет рядовой матрицы:
В процессе расчета рядовой матрицы каждый вектор сравнивается с ближайшим кластерным центром
3) Расчет оценочной функции:
Проверка условия, при котором алгоритм завершает работу и вывод результата в этом случае
4) Переопределение кластерных центров

Пункты 2-4 выполняются до тех пор, пока в пункте 3 проверка не станет успешной.

=== Математическое описание алгоритма ===

Обозначения

<math>X</math> - наборы данных

<math>X_{i}</math> - i-ый набор из <math>X</math>

<math>x</math> - любой набор из <math>X</math>

<math>n</math> - количество наборов в <math>X</math>

<math>N</math> - кластерный центр после обновления

<math>V_{j}</math> - j-ый кластер

<math>C</math> - количество кластеров

<math>v_{j}</math> - j-ый кластерный центр

<math>v^*_{j}</math> - j-ый кластерный центр после обновления

Выходные данные:
<math>V_{1}, V_{2}, ... V_{C}</math>

Объектная функция:

<math>J=\sum_{j = 1}^{C} \sum_{x_{i} \in v_{j}}^{} \|x_{i}-v_{j}\|^2, j \in 1,2, ... C, i={1,2, ...n}</math>

'''Шаг 1'''

Из входного набора <math>X_{1},X_{2}, ... X_{n}</math> выбираются <math>C</math> начальных кластерных центра <math> v_{1},v_{2},...,v_{C}</math>либо случайным образом, либо с использованием заранее определенного алгоритма

'''Шаг 2'''

Рассчитывается рядовая матрица <math> M=\|m_{ik}\|</math> каждый элемент которой вычисляется по следующей формуле:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,C; \; k = 1,2,\ldots,N)\\
0, & \text{otherwise}.
\end{cases}
</math>

'''Шаг 3'''

Рассчитывается объектная функция J. На этом этапе может быть инициировано завершение алгоритма в случае если значение объектной функции незначительно изменилось относительно предыдущей итерации или достигло ожидаемого значения.

'''Шаг 4'''

Рассчитываются новые кластерные центры по следующей формуле:

<math> v^*_{j} = \frac{1}{|v_{j}}

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

1. Инициализация кластерных центров <math>c_i \, (i=1,2,\ldots,c)</math>. Это можно сделать выбрав случайным образом <math>c</math> – векторов из входного набора.

2. Вычисление рядовой матрицы <math>M</math>:
:<math>
m_{ik} = \begin{cases}
1, & \|u_k-c_i\|^2 \leqslant \|u_k-c_j\|^2 \;\; \text{for all } i \neq j; \;\; (i,j=1,2,\ldots,c; \; k = 1,2,\ldots,K) \\
0, & \text{other}.
\end{cases}
</math>
где К – количество элементов во входном наборе данных.

Матрица <math>M</math> обладает следующими свойствами:
:<math>
\sum\limits_{i=1}^c m_{ij} = 1, \;\; \sum\limits_{j=1}^K m_{ij} = K.
</math>

3. Расчёт объектной функции:
:<math>
J = \sum\limits_{i=1}^c J_i = \sum\limits_{i=1}^c \left( \sum\limits_{k:\, u_k \in C_i} \|u_k -c_i \|^2 \right)
.</math>

На этом шаге происходит остановка и выход из цикла, если полученное значение ниже пороговой величины или полученное значение не сильно отличается от значений, полученных на предыдущих циклах.

4. Пересчёт кластерных центров выполняется в соответствии со следующим уравнением:
:<math>
c_i = \frac{1}{|C_i|} \sum\limits_{k:\, u_k \in C_i} u_k,
</math>
где под <math>|C_i|</math> подразумевается количество элементов в <math>i</math>-ом кластере.

5. на шаг 2.

=== Последовательная сложность алгоритма ===
Каждая операция вычисления квадрата нормы разности векторов выполненяет <math>n</math> вычитаний, <math>n-1</math> сложений и <math>n</math> операций возведения в квадрат (умножений).

Для каждой итерации алгоритма требуется:
* <math>ncK</math> умножений,
* <math>ncK</math> вычитаний,
* <math>K(c+cn+1)</math> сложений,
* <math>\frac{c(c+1)K}{2}</math> сравнений.

Умножения, сложения (вычитания), сравнения составляют ''основную часть алгоритма''.

Итоговая сложность последовательной реализации алгоритма <math>O(ncK)</math>. Обычно <math>n</math>, <math>c</math> значительно меньше, чем <math>K</math>.

=== Информационный граф ===
[[File:Picture.png|thumb|600px|center|Рисунок 1.]]

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:07:12Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:06:38Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T20:05:43Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T18:54:36Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T18:54:05Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */

Участник:Шишков Илья Сергеевич/Алгоритм HCM (Hard C – Means)

2016-10-16T18:53:52Z

Шишков Илья Сергеевич: /* Математическое описание алгоритма */