Алговики - Вклад [ru]

Обсуждение участника:Nikmedoed

2016-12-17T17:42:46Z

Illusive mike: /* Статья Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means) */

= Статья [[Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)]] =

* 1.2 — зачем писать корень из квадрата нормы? [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Корень квадрата взят именно потому, что значение нормы вычисляется через квадрат. Хотя фактически, как указано в 1.3, корень вообще не берётся, а используется квадрат нормы.
* 1.3 — «При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены.» — что значит «реальное вычисление» и какие ещё вычисления бывают? [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Заменено на "при реализации алгоритма..."
* 1.4 — «Как правило в Евклидовом пространстве» — можете привести обратный пример? И в Евклидовом пространстве можно определять разные нормы. [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Фрагмент убран.
* 1.5 — «осуществляются итерации» и перечисление — на самом деле это одна итерация, формулировки неаккуратные. [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Формулировка перефразирована.
* 1.6 — в терминах каких операций вычисляется сложность? [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** В терминах операций сложения/вычитания, умножения/деления и возведения в степень.
* 1.7 — стоит переобозначить номер процесса одной буквой, rnk читается плохо, учитывая, что ранее введены k и n. [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)

----

* не указан вклад каждого автора [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** Могли бы вы подсказать в каком формате это сделать? Просто общее сообщение, либо в каждом пункте указать?
*** В начале написать "Авторы: Автор1 - раздел 1, Автор2 - раздел 2". Ну или что-то в том духе. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 18:01, 28 октября 2016 (MSK)
:::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)

* п. 1.2 приведен набор формул, однако отсутствует пояснения, как эти формулы складываются в алгоритм [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** П. 1.2 расширен в соответствии с замечанием. Ожидаю отзыв. [[Участник:Illusive_mike|Дворецкий М.С.]] ([[Обсуждение участника:Illusive_mike|обсуждение]]) 15:46, 25 октября 2016 (MSK)
::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)
----------------
* п. 2.4. проведены исследования масштабируемости одной итерации. Исследование масштабируемости реализации в целом отсутствует [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавлено в статью: "Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации."
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
* п. 2.4. Рис. 2 приведен график зависимости эффективности от параметров задачи. Не указано, о каком виде эффективности идет речь. Значение эффективности в 100% в реальности встречается очень редко, надо в тексте пояснить, почему такой хороший результат. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавили пояснение, что это график временной эффективности
** Что такое временная эффективность? В [[Глоссарий|глоссарии]] такой нет. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
*** Изменено на термин из глоссария - эффективность распараллеливания.
** Добавили пояснение про причину высокой временной эффективности
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* п. 2.4. ''Для большинства экспериментов эффективность находится в пределах 100±3%.''. Как эффективность может быть больше 100%? [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Сверхлинейное ускорение
** [https://www.dropbox.com/s/2ijzr6g8mhrftts/%D0%B8%D1%82%D0%BE%D0%B3%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D0%B0.xlsx?dl=0 Ссылка на расчёты]
** Доступная нам система профилировки недостаточна, чтобы найти причину сверхлинейного ускорения точно, поэтому мы не упомянули её прямым текстом
** Сначала надо разобраться, какая эффективность имеется в виду. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* П. 2.4. Необходимо добавить описание ключей компилятора, особенностей запуска (раздел, используемые вычислительные узлы и т.п. информация, достаточная для воспроизведения данных). [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
** Добавлен файл README в проекте на GitHub. Это исправление мой товарищ сделал ещё 18, т.к. у меня не было доступа к чему-либо до вчера. А теперь обновил я ссылку.
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:17, 21 ноября 2016 (MSK)

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-12-17T17:38:44Z

Illusive mike: /* Схема реализации последовательного алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реализации алгоритма некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации, на каждой из которых производятся следующие вычисления:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-12-17T17:37:19Z

Illusive mike: /* Макроструктура алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реализации алгоритма некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-12-17T17:34:03Z

Illusive mike: /* Вычислительное ядро алгоритма */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реализации алгоритма некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Обсуждение участника:Nikmedoed

2016-11-18T15:20:14Z

Illusive mike:

= Статья [[Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)]] =
* не указан вклад каждого автора [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** Могли бы вы подсказать в каком формате это сделать? Просто общее сообщение, либо в каждом пункте указать?
*** В начале написать "Авторы: Автор1 - раздел 1, Автор2 - раздел 2". Ну или что-то в том духе. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 18:01, 28 октября 2016 (MSK)
:::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)

* п. 1.2 приведен набор формул, однако отсутствует пояснения, как эти формулы складываются в алгоритм [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** П. 1.2 расширен в соответствии с замечанием. Ожидаю отзыв. [[Участник:Illusive_mike|Дворецкий М.С.]] ([[Обсуждение участника:Illusive_mike|обсуждение]]) 15:46, 25 октября 2016 (MSK)
::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)
----------------
* п. 2.4. проведены исследования масштабируемости одной итерации. Исследование масштабируемости реализации в целом отсутствует [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавлено в статью: "Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации."
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
* п. 2.4. Рис. 2 приведен график зависимости эффективности от параметров задачи. Не указано, о каком виде эффективности идет речь. Значение эффективности в 100% в реальности встречается очень редко, надо в тексте пояснить, почему такой хороший результат. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавили пояснение, что это график временной эффективности
** Что такое временная эффективность? В [[Глоссарий|глоссарии]] такой нет. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
*** Изменено на термин из глоссария - эффективность распараллеливания.
** Добавили пояснение про причину высокой временной эффективности
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* п. 2.4. ''Для большинства экспериментов эффективность находится в пределах 100±3%.''. Как эффективность может быть больше 100%? [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Сверхлинейное ускорение
** [https://www.dropbox.com/s/2ijzr6g8mhrftts/%D0%B8%D1%82%D0%BE%D0%B3%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D0%B0.xlsx?dl=0 Ссылка на расчёты]
** Доступная нам система профилировки недостаточна, чтобы найти причину сверхлинейного ускорения точно, поэтому мы не упомянули её прямым текстом
** Сначала надо разобраться, какая эффективность имеется в виду. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* П. 2.4. Необходимо добавить описание ключей компилятора, особенностей запуска (раздел, используемые вычислительные узлы и т.п. информация, достаточная для воспроизведения данных). [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
** Создана новая ветка в проекте на GitHub, содержащем код реализации. В этой ветке добавлен файл readme, содержащий требуемую информацию. Ссылка в статье перенаправлена на эту ветку.

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-18T15:20:12Z

Illusive mike:

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 параллельный вариант]<ref>[https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-18T15:17:02Z

Illusive mike: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 параллельный вариант]<ref>[https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-18T13:26:48Z

Illusive mike: /* Масштабируемость алгоритма и его реализации */

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Обсуждение участника:Nikmedoed

2016-11-18T13:21:06Z

Illusive mike:

= Статья [[Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)]] =
* не указан вклад каждого автора [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** Могли бы вы подсказать в каком формате это сделать? Просто общее сообщение, либо в каждом пункте указать?
*** В начале написать "Авторы: Автор1 - раздел 1, Автор2 - раздел 2". Ну или что-то в том духе. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 18:01, 28 октября 2016 (MSK)
:::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)

* п. 1.2 приведен набор формул, однако отсутствует пояснения, как эти формулы складываются в алгоритм [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** П. 1.2 расширен в соответствии с замечанием. Ожидаю отзыв. [[Участник:Illusive_mike|Дворецкий М.С.]] ([[Обсуждение участника:Illusive_mike|обсуждение]]) 15:46, 25 октября 2016 (MSK)
::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)
----------------
* п. 2.4. проведены исследования масштабируемости одной итерации. Исследование масштабируемости реализации в целом отсутствует [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавлено в статью: "Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации."
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
* п. 2.4. Рис. 2 приведен график зависимости эффективности от параметров задачи. Не указано, о каком виде эффективности идет речь. Значение эффективности в 100% в реальности встречается очень редко, надо в тексте пояснить, почему такой хороший результат. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавили пояснение, что это график временной эффективности
** Что такое временная эффективность? В [[Глоссарий|глоссарии]] такой нет. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
*** Изменено на термин из глоссария - эффективность распараллеливания.
** Добавили пояснение про причину высокой временной эффективности
* п. 2.4. ''Для большинства экспериментов эффективность находится в пределах 100±3%.''. Как эффективность может быть больше 100%? [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Сверхлинейное ускорение
** [https://www.dropbox.com/s/2ijzr6g8mhrftts/%D0%B8%D1%82%D0%BE%D0%B3%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D0%B0.xlsx?dl=0 Ссылка на расчёты]
** Доступная нам система профилировки недостаточна, чтобы найти причину сверхлинейного ускорения точно, поэтому мы не упомянули её прямым текстом
** Сначала надо разобраться, какая эффективность имеется в виду. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-18T13:20:17Z

Illusive mike:

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-18T13:19:11Z

Illusive mike: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-30T16:01:30Z

Illusive mike: /* Ресурс параллелизма алгоритма */

{{Assignment}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-30T15:58:30Z

Illusive mike: /* Ресурс параллелизма алгоритма */

{{Assignment}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>2c</math> значений, <math>c</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-30T15:57:18Z

Illusive mike: /* Ресурс параллелизма алгоритма */

{{Assignment}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>1</math> редукция сумм и передач значений <math>V_i</math> процессам (получение <math>2c</math> значений, <math>c</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-25T15:37:45Z

Illusive mike: /* Информационный граф */

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-25T15:37:01Z

Illusive mike: /* Информационный граф */

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref> [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-25T15:36:06Z

Illusive mike: /* Информационный граф */

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-25T12:44:40Z

Illusive mike: /* Математическое описание алгоритма */

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-21T09:04:05Z

Illusive mike: /* Ресурс параллелизма алгоритма */

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:58:39Z

Illusive mike:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:56:13Z

Illusive mike:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:55:26Z

Illusive mike: /* Вычислительное ядро алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:53:52Z

Illusive mike: /* Вычислительное ядро алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:53:03Z

Illusive mike: /* Математическое описание алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )}^{{2}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Обсуждение участника:Lineprinter

2016-10-15T10:11:22Z

Illusive mike: /* Перенос */

== Перенос ==
Статья: [[Участники: Бобошко А., Юмакаева А./Решение начальной задачи Коши для системы ОДУ методом Рунге-Кутта 4-го порядка]];
Выполняют: Бобошко Алексей и Юмакаева Алина

Статья: [[Алгоритм кластеризации, основанный на сетях Кохоннена]];
Выполняют: Логвиненко Александра и Адиев Тохтар

Статья: [[Ортогонализация Грама-Шмидта]];
Выполняют: [[Участник:KibAndrey| Кибанов Андрей]] и Аджиева Татьяна

Статья: [[Самоорганизующиеся карты Кохонена]];
Выполняет: [[Участник:Anton goy| Гой Антон]]

Статья:[[ЕМ-алгоритм_(Тематическое_моделирование)]];
Выполняют: Мурат Апишев и Андрей Заночкин

Статья:[[Алгоритм_Ланцоша_с_полной_переортогонализацией]];
Выполняет:[[Участник:Sfedotov| Федотов С.А.]]

Статья: [[Алгоритм_k-средних]]
Выполняют: [[Участник:Error2407|Богомазов Евгений]], [[Участник:Илья_Егоров|Егоров Илья]]

Статья: [[Нечеткий_алгоритм_С_средних]]
Выполняют: [[Участник:Demon smd|Д.А.Гуськов]], [[Участник:marina abramenkova|М.А.Абраменкова]]

Статья: [[Решение_задачи_Коши_для_системы_ОДУ_методом_Рунге-Кутты_4_порядка]];
Выполняют: [[Участник:Алимов_Дамир_Алиевич|Алимов Дамир]] и [[Участник:Anlesnichiy|Антон Лесничий]]

Статья: [[Строгий_алгоритм_С_средних_(Hard_C-Means,_HCM)]];
Выполняют: [[Участник:Светлана_Лукьяненко|Лукьяненко Светлана]] и [[Участник:Юрий_Комаров|Комаров Юрий]]

Статья: [[Алгоритм кластеризации, основанный на минимальном остовном дереве]];
Выполняет: [[Участник:Astandrik | Стандрик Антон Сергеевич]]

Статья: [[Умножение разреженной матрицы на вектор]];
Выполняет: [[Участник:Lexaloris | Новоселов Алексей]], Выполняет: [[Участник:pahom | Кочетков Павел]]

Статья: [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)|Нахождение собственных чисел квадратной матрицы методом QR разложения (3)]];
Выполняют: [[Участник:Смирнова_Александра|Смирнова А.С.]], [[Участник:Александра_Киямова|Киямова А.]]

Статья: [[Метод_Якоби_вычисления_сингулярных_чисел_и_векторов]];
Выполняют: [[Участница:Почернина_Елена| Почернина Елена]] и [[Участница:Светлана|Костюкова Светлана]]

Статья: [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]];
Выполняют: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений]];
Выполняют: [[Участник:Cookie|Шатков С.А.]], [[Антохина Ю.А.]]

Статья: [[Быстрое_преобразование_Фурье_(FFT)|Быстрое преобразование Фурье (FFT)]];
Выполняют: [[Участник:Victoria_Stepanischeva|Степанищева Виктория]] и [[Участник:Igor_Munkin|Мунькин Игорь]]

Статья: [[Быстрое_дискретное_преобразование_Фурье|Быстрое_дискретное_преобразование_Фурье]];
Выполняют: [[Участник:ivanov.kir.m | К.М.Иванов]], [[Участник:Pumpkin | А.C.Сапин]]

Статья:[[Алгоритм_k_средних]]
Выполняют: [[Участник:Parkhomenko|Пархоменко Павел]], [[Участник:ivan.mashonskiy|Машонский Иван]]

Статья:[[EM-алгоритм_кластеризации]]
Выполняет: [[Участник:Noite|Зинченко Дмитрий]]

Статья:[[Алгоритм_k_means]]
Выполняют: [[Участник:IanaV| Валуйская Яна]], [[Глотов Евгений]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы ЗП |Метод Якоби вычисления собственных значений симметричной матрицы ЗП]];
Выполняют: [[Участник:Зиновьев Владимир|Зиновьев В.С.]], [[Участник:Пронин Андрей|Пронин А.М.]]

Статья:[[Алгоритм_кластеризации,_основанный_на_минимальном_покрывающем_дереве]]
Выполняет: [[Участник:Kanast74|Дмитриева Анастасия]]

Статья:[[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(4)]]
Выполняют: [[Участник:F-morozov|Морозов Ф. В.]], [[Участник:Nataliya|Пащенко Н. Ф.]]

Статья:[[Хранение_ненулевых_элементов_разреженных_матриц._Умножение_разреженной_матрицы_на_вектор]];
Выполняют: [[Участник:Trrufina|Третьякова Р.М.]] и [[Участник:Екатерина_Буторина|Буторина Е.В.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений2]];
Выполняет: [[Участник:Лукьянова Анна|Лукьянова А.Я.]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы]];
Выполняют: [[Участник: Galkina|Галкина А.С.]], [[Участник: Игорь|Плахов И.А.]]

Статья: [[Метод рекурсивной координатной бисекции]];
Выполняют: [[Участник: Obirvalger|Гордеев Михаил]], [[Участник: KolmakovEA|Колмаков Евгений]]

Статья: [[Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)]];
Выполняют: [[Участник: Эльвира Ахиярова|Ахиярова Эльвира]]

Статья: [[Хранение ненулевых элементов разреженной матрицы. Умножение разреженной матрицы на вектор]];
Выполняют: [[Участник: Janyell|Сычева Евгения]], [[Участник: Ahahalin|Хахалин Анатолий]]

Статья: [[Построение матрицы Адамара произвольного размера]];
Выполняют: [[Участник: Бугаков Юрий|Бугаков Юрий]], Кужамалиев Ернур

Статья: [[Вычисление определенного интеграла с использованием адаптивно сгущающейся сетки (1)]]
Выполняют: [[Участница:Sannikovats| Санникова Татьяна Сергеевна]], [[Участник:Plukshin| Лукшин Петр Андреевич]]

Статья: [[Алгоритм кластеризации, основанный на построении каркаса]];
Выполняют: [[Участник:SenderovichNikita| Сендерович Никита]]

Статья: [[Алгоритм кластеризации, основанный на максимизации ожидания]];
Выполняют: Готман Мария, Лукашкина Юлия

Статья: [[Partitioning_Around_Medoids_(PAM)]]
Выполняют: [[Участник:Avasilenko|А.Э.Василенко]], [[Участник:Anastasia|А.В.Тузикова]]

Статья: [[Нечеткий алгоритм С-средних (Fuzzy C-means)]]
Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]