Алговики - Вклад [ru]

Обсуждение участника:Nikmedoed

2016-12-17T18:02:18Z

Nikmedoed: /* Статья Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means) */

= Статья [[Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)]] =

* 1.2 — зачем писать корень из квадрата нормы? [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Корень квадрата взят именно потому, что значение нормы вычисляется через квадрат. Хотя фактически, как указано в 1.3, корень вообще не берётся, а используется квадрат нормы.
* 1.3 — «При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены.» — что значит «реальное вычисление» и какие ещё вычисления бывают? [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Заменено на "при реализации алгоритма..."
* 1.4 — «Как правило в Евклидовом пространстве» — можете привести обратный пример? И в Евклидовом пространстве можно определять разные нормы. [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Фрагмент убран.
* 1.5 — «осуществляются итерации» и перечисление — на самом деле это одна итерация, формулировки неаккуратные. [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Формулировка перефразирована.
* 1.6 — в терминах каких операций вычисляется сложность? [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** В терминах операций сложения/вычитания, умножения/деления и возведения в степень.
* 1.7 — стоит переобозначить номер процесса одной буквой, rnk читается плохо, учитывая, что ранее введены k и n. [[Участник:Chalker|Chalker]] ([[Обсуждение участника:Chalker|обсуждение]]) 20:27, 17 декабря 2016 (MSK)
** Изменили на <math>q</math>

----

* не указан вклад каждого автора [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** Могли бы вы подсказать в каком формате это сделать? Просто общее сообщение, либо в каждом пункте указать?
*** В начале написать "Авторы: Автор1 - раздел 1, Автор2 - раздел 2". Ну или что-то в том духе. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 18:01, 28 октября 2016 (MSK)
:::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)

* п. 1.2 приведен набор формул, однако отсутствует пояснения, как эти формулы складываются в алгоритм [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** П. 1.2 расширен в соответствии с замечанием. Ожидаю отзыв. [[Участник:Illusive_mike|Дворецкий М.С.]] ([[Обсуждение участника:Illusive_mike|обсуждение]]) 15:46, 25 октября 2016 (MSK)
::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)
----------------
* п. 2.4. проведены исследования масштабируемости одной итерации. Исследование масштабируемости реализации в целом отсутствует [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавлено в статью: "Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации."
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
* п. 2.4. Рис. 2 приведен график зависимости эффективности от параметров задачи. Не указано, о каком виде эффективности идет речь. Значение эффективности в 100% в реальности встречается очень редко, надо в тексте пояснить, почему такой хороший результат. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавили пояснение, что это график временной эффективности
** Что такое временная эффективность? В [[Глоссарий|глоссарии]] такой нет. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
*** Изменено на термин из глоссария - эффективность распараллеливания.
** Добавили пояснение про причину высокой временной эффективности
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* п. 2.4. ''Для большинства экспериментов эффективность находится в пределах 100±3%.''. Как эффективность может быть больше 100%? [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Сверхлинейное ускорение
** [https://www.dropbox.com/s/2ijzr6g8mhrftts/%D0%B8%D1%82%D0%BE%D0%B3%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D0%B0.xlsx?dl=0 Ссылка на расчёты]
** Доступная нам система профилировки недостаточна, чтобы найти причину сверхлинейного ускорения точно, поэтому мы не упомянули её прямым текстом
** Сначала надо разобраться, какая эффективность имеется в виду. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* П. 2.4. Необходимо добавить описание ключей компилятора, особенностей запуска (раздел, используемые вычислительные узлы и т.п. информация, достаточная для воспроизведения данных). [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
** Добавлен файл README в проекте на GitHub. Это исправление мой товарищ сделал ещё 18, т.к. у меня не было доступа к чему-либо до вчера. А теперь обновил я ссылку.
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:17, 21 ноября 2016 (MSK)

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-12-17T18:00:56Z

Nikmedoed: /* Информационный граф */

{{Assignment|{{REVISIONUSER}}}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реализации алгоритма некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации, на каждой из которых производятся следующие вычисления:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведён граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+q* \frac{M}{p},q*(\frac{M}{p}+1)}</math>, где <math>q</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+q* \frac{M}{p},q*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+q*\frac{M}{p}}^{q * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+q*\frac{M}{p}}^{q * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Обсуждение участника:Nikmedoed

2016-11-20T09:06:10Z

Nikmedoed:

= Статья [[Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)]] =
* не указан вклад каждого автора [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** Могли бы вы подсказать в каком формате это сделать? Просто общее сообщение, либо в каждом пункте указать?
*** В начале написать "Авторы: Автор1 - раздел 1, Автор2 - раздел 2". Ну или что-то в том духе. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 18:01, 28 октября 2016 (MSK)
:::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)

* п. 1.2 приведен набор формул, однако отсутствует пояснения, как эти формулы складываются в алгоритм [[Участник:Coctic|Coctic]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:01, 25 октября 2016 (MSK)
** П. 1.2 расширен в соответствии с замечанием. Ожидаю отзыв. [[Участник:Illusive_mike|Дворецкий М.С.]] ([[Обсуждение участника:Illusive_mike|обсуждение]]) 15:46, 25 октября 2016 (MSK)
::: Исправлено [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 13:32, 31 октября 2016 (MSK)
----------------
* п. 2.4. проведены исследования масштабируемости одной итерации. Исследование масштабируемости реализации в целом отсутствует [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавлено в статью: "Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации."
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
* п. 2.4. Рис. 2 приведен график зависимости эффективности от параметров задачи. Не указано, о каком виде эффективности идет речь. Значение эффективности в 100% в реальности встречается очень редко, надо в тексте пояснить, почему такой хороший результат. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Добавили пояснение, что это график временной эффективности
** Что такое временная эффективность? В [[Глоссарий|глоссарии]] такой нет. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
*** Изменено на термин из глоссария - эффективность распараллеливания.
** Добавили пояснение про причину высокой временной эффективности
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* п. 2.4. ''Для большинства экспериментов эффективность находится в пределах 100±3%.''. Как эффективность может быть больше 100%? [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 10:27, 17 ноября 2016 (MSK)
** Сверхлинейное ускорение
** [https://www.dropbox.com/s/2ijzr6g8mhrftts/%D0%B8%D1%82%D0%BE%D0%B3%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D0%B0.xlsx?dl=0 Ссылка на расчёты]
** Доступная нам система профилировки недостаточна, чтобы найти причину сверхлинейного ускорения точно, поэтому мы не упомянули её прямым текстом
** Сначала надо разобраться, какая эффективность имеется в виду. [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 12:41, 18 ноября 2016 (MSK)
** Принято [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
* П. 2.4. Необходимо добавить описание ключей компилятора, особенностей запуска (раздел, используемые вычислительные узлы и т.п. информация, достаточная для воспроизведения данных). [[Участник:Coctic|К. Стефанов]] ([[Обсуждение участника:Coctic|обсуждение]]) 16:40, 18 ноября 2016 (MSK)
** Добавлен файл README в проекте на GitHub. Это исправление мой товарищ сделал ещё 18, т.к. у меня не было доступа к чему-либо до вчера. А теперь обновил я ссылку.

Обсуждение участника:Nikmedoed

2016-11-19T21:33:18Z

Nikmedoed:

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-19T21:32:35Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности распараллеливания нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/IllusiveMike/Parallel-Fuzzy-C-means/tree/patch-1 параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений на итерации не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность распараллеливания находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-17T13:33:03Z

Nikmedoed:

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График временной эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-17T13:32:53Z

Nikmedoed:

{{Assignment}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График временной эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-17T13:32:09Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График временной эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значений (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия между процессами, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин, как показано выше.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Обсуждение участника:Nikmedoed

2016-11-17T13:28:32Z

Nikmedoed: /* Статья Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means) */

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-17T13:17:02Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График временной эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.
Алгоритм обладает плохо исследованной сходимостью, но объем вычислений и итераций не зависит от значений данных, поэтому данное исследование масштабируемости было произведено для единичной итерации.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность находится в пределах 100±3%. Высокая эффективность обуславливается тем, что данные равномерно распределены по процессорам и на каждой итерации требуется глобальная редукция всего <math>2c+1</math> значениями (<math>c</math> значений числителей центроид кластеров, <math>c</math> значений знаменателей центроид кластеров и одно значение признака останова). Таким образом вычисления занимают значительно больше времени, чем взаимодействия, которые практически не приводят к простоям из-за хорошей балансировки. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-17T13:03:04Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Алгоритм обладает плохо исследованной сходимостью, объем вычислений и итераций не зависит от значений данных.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность находится в пределах 100±3%. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-05T22:42:05Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Coctic}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

Полученные результаты говорят о хорошей масштабируемости реализации алгоритма. Для большинства экспериментов эффективность находится в пределах 100±3%. Спад эффективности при малом числе вершин и большом числе процессоров обуславливается тем, что с уменьшением числа вершин, обрабатываемых каждым процессором, растёт доля времени обмена данных между процессорами, не зависящего от числа вершин.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-05T22:24:08Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Coctic}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^v, v=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

В результате был получен вывод, что алгоритм очень хорошо масштабируется, не теряя эффективности и почти линейно снижая время выполнения при росте числа процессоров. Начиная с 32768 вершин и до 16 процессоров реализация алгоритма показала эффективность почти в 100±2%. При количестве вершин меньше 32768 и количестве процессоров больше 16 эффективность начинает значительно падать из-за того что доля затрат времени на обмен данными, не зависящих от числа объектов данных, возрастает по сравнению со временем, требующимся для вычислений.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-05T22:16:43Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Coctic}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^n, n=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

В результате был получен вывод, что алгоритм очень хорошо масштабируется, не теряя эффективности и почти линейно снижая время выполнения при росте числа процессоров. Начиная с 32768 вершин и до 16 процессоров реализация алгоритма показала эффективность почти в 100±2%. При количестве вершин меньше 32768 и количестве процессоров больше 16 эффективность начинает значительно падать.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-05T22:09:06Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Coctic}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^n, n=\overline{0,9}</math>, для количества процессоров;
* <math>2^w, w=\overline{10,20}</math>, для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

В результате был получен вывод, что алгоритм очень хорошо масштабируется, показывая ожидаемое поведение при малом количестве вершин и большом количестве процессоров (много времени тратится на передачу), а также не теряя эффективности и почти линейно снижая время выполнения при росте числа процессоров. Начиная с 32768 вершин и до 16 процессоров реализация алгоритма показала эффективность почти в 100±2%. При количестве вершин меньше 32768 и количестве процессоров больше 16 эффективность начинает значительно падать.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-05T22:07:25Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Coctic}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её [https://github.com/nikmedoed/Parallel-Fuzzy-C-means параллельный вариант]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>.

Для упрощения экспериментов было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>2^n, n=\overline{0,9}</math> для количества процессоров;
* <math>2^w, w=\overline{10,20}</math> для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значения выходили те же самые.

В результате был получен вывод, что алгоритм очень хорошо масштабируется, показывая ожидаемое поведение при малом количестве вершин и большом количестве процессоров (много времени тратится на передачу). Начиная с 32768 вершин и до 16 процессоров реализация алгоритма показала эффективность почти в 100±2%. При количестве вершин меньше 32768 и количестве процессоров больше 16 эффективность начинает значительно падать.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-05T21:58:02Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Coctic}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means time to iteration|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

[[File:Effect_parallel_fuzzy_c-means.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means efficiency|График эффективности параллельного нечеткого алгоритма С-средних (Fuzzy C-means) в зависимости от количества процессоров и количества кластеризуемых вершин.]]

Исследование проведено на суперкомпьютере IBM Blue Gene/P<ref>[http://hpc.cs.msu.ru/bgp Описание вычислительного комплекса IBM Blue Gene/P]</ref>.
Для исследования была использована последовательная реализация алгоритма и реализован её параллельный вариант, который доступен по [https://github.com/nikmedoed/Parallel-Fuzzy-C-means ссылке]<ref>[https://github.com/nikmedoed/Parallel-Fuzzy-C-means Параллельная реализация алгоритма Fuzzy C-Means]</ref>

Для упрощения распараллеливания алгоритма было решено использовать количество вершин для кластеризации и количество процессов равное степени двойки, поэтому для каждого эксперимента были выбраны значения:
* <math>[2^0..2^9]</math> для количества процессоров;
* <math>[2^{10}..2^{20}]</math> для количества кластеризуемых вершин.

Для одного набора значений проводилось 4 эксперимента и результаты усреднялись. При повторных запусках экспериментов значений выходили те же самые.

В результате был получен вывод, что алгоритм очень хорошо масштабируется, показывая ожидаемое поведение при малом количестве вершин и большом количестве процессоров (много времени тратится на передачу). Начиная с 32768 вершин и до 16 процессоров реализация алгоритма показала эффективность почти в 100±2%. При количестве вершин меньше 32768 и количестве процессоров больше 16 эффективность начинает значительно падать.

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-11-01T18:01:29Z

Nikmedoed: /* Масштабируемость алгоритма и его реализации */

{{Assignment|Coctic}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>2</math> редукции сумм и передач значений <math>V_i</math> процессам (получение <math>c(n+1)</math> значений, <math>cn</math> делений),
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

[[File:График.png|thumb|upright=2.5|frame|right|alt=Paralel Fuzzy C-Means|График зависимости времени выполнения итерации параллельного нечеткого алгоритма С-средних (Fuzzy C-means) от количества процессоров и количества кластеризуемых вершин]]

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-28T19:04:46Z

Nikmedoed:

{{Assignment}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Авторы: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-28T19:04:30Z

Nikmedoed:

{{Assignment}}

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте (метод распараллеливания взят в <ref>Kwok, T., Smith, K.,
Lozano, S., Taniar, D.: [http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Parallel Fuzzy c-Means Clustering for Large Data Sets], последнее обращение 25.10.2016</ref>):

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-25T15:27:22Z

Nikmedoed:

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]] - перенос в вики, раздел 2, картинки, [[Участник:illusive_mike|М.С. Дворецкий]] - раздел 1

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода (вычисляются последовательно на каждой итерации):'''

1. Уточнение центров кластеров по степеням принадлежности
:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}
\end{align}
</math>
2. Расчёт расстояний между новыми центрами кластеров и точками данных
:<math>
\begin{align}
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}
\end{align}
</math>
3. Пересчёт степеней принадлежности объектов кластерам
:<math>
\begin{align}
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

На каждой итерации алгоритма происходит уточнение элементов матрицы <math>F</math>. Выходом алгоритма служит матрица <math>F</math>, к которой алгоритм сходится. Факт того, что алгоритм сошёлся, устанавливается проверкой вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math> либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации.

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных и условии останову по малому изменению степеней принадлежности выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* до <math>c</math> ярусов проверки условий останова (по <math>1</math> вычитанию, <math>1</math> сравнению), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>1</math> редукция для обмена статусом завершения.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T18:42:16Z

Nikmedoed:

{{Assignment}}
{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризацию больших наборов числовых данных, что позволяет корректно определять объекты на границах кластеров. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами, удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:58:05Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| input_data = <math>Mn</math>
| output_data = <math>cM</math>
| pf_height = <math> O(c^2 I + cnI)</math>
| pf_width = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:56:01Z

Nikmedoed: /* Существующие реализации алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB <ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:55:40Z

Nikmedoed: /* Существующие реализации алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} \left ( {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе. Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki} ^ {2}}{D_{kj} ^ {2}} \right )}^{{1}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==
* пакет MATLAB<ref>[http://www.mathworks.com/help/fuzzy/fcm.html Документация пакета MATLAB, функция fcm], последнее обращение 15.10.2016</ref>
* Реализация алгоритма на POSTGRESQL <ref>[http://num-meth.srcc.msu.ru/zhurnal/tom_2012/pdf/v13r207.pdf Реализация алгоритма Fuzzy C-means на POSTGRESQL], последнее обращение 15.10.2016</ref>

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:50:22Z

Nikmedoed: /* Свойства алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )}^{{2}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>M</math>.

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:48:37Z

Nikmedoed: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )}^{{2}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* <math>c</math> ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* <math>c</math> ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* <math>c</math> редукций сумм и передач значений <math>V_i</math> процессам,
* <math>c</math> ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* <math>c</math> ярусов вычисления степеней принадлежности точек (по <math>c+1</math> делений, c возведений в степень, <math>c-1</math> сложений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, при распараллеливании по точкам исходных данных при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c^2 I+cnI)</math> и <math>O(M)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:43:06Z

Nikmedoed: /* Последовательная сложность алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )}^{{2}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте имеет вычислительную сложность – <math>O(c^2 MI+cMnI)</math>, где <math>I</math> – число итераций. Если считать размерность данных <math>n</math> малой, то эта сложность сводится к <math>O(c^2 MI)</math>. Основной частью алгоритма в этом случае является пересчёт матрицы принадлежностей, требующий вычисления <math>cM</math> сумм из <math>c</math> слагаемых на каждой итерации.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:40:05Z

Nikmedoed: /* Вычислительное ядро алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров, расстояний между ними и точками данных и в особенности пересчёта матрицы степеней принадлежности точек данных.

При реальном вычислении некоторые повторяющиеся вычисления могут быть устранены. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.Для шага вычисления расстояний между центрами кластеров и точками, операция взятия квадратного корня не является обязательной, так как в дальнейшем на шаге вычисления степеней принадлежности можно непосредственно использовать квадраты этих расстояний, и сумма в знаменателе будет приобретать вид:

<math>\sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )}^{{2}/{m-1}}</math>

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:35:38Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций, <math>c</math> - количество кластеров, <math>M</math> - число точек, <math>n</math> - размерность точек (свойств на объект)<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:31:55Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I</math> - число итераций<math>)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:31:24Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I)</math> - число итераций
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:31:10Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI), (I - число итераций)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:30:23Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:29:20Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math>O(c^2 MI + cMnI)</math>
| pf_height = <math>Mn</math>
| pf_width = <math>cM</math>
| input_data = <math> O(c^2 I + cnI)</math>
| output_data = <math>O( M )</math>
}}

'''Нечеткий алгоритм С-средних''' (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T14:27:23Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math></math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math></math>
| output_data = <math></math>
}}

Нечеткий алгоритм С-средних (''Fuzzy C-means'') - позволяет получить нечёткую кластеризация больших наборов числовых данных, что позволяет определять объекты на границе кластеров в отдельные кластеры. Однако, выполнение данного алгоритма требует серьёзных вычислительных ресурсов, а также изначального задания количества кластеров. Кроме того, может возникнуть неоднозначность с объектами удалёнными от центров всех кластеров.

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:33:22Z

Nikmedoed: /* Общее описание алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math></math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math></math>
| output_data = <math></math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:32:57Z

Nikmedoed: /* Общее описание алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math></math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math></math>
| output_data = <math></math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means, HCM]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:31:51Z

Nikmedoed: /* Общее описание алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math></math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math></math>
| output_data = <math></math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как [[Hard C-Means]] и [[K-Means]], при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:25:34Z

Nikmedoed: /* Вычислительное ядро алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math></math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math></math>
| output_data = <math></math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:21:32Z

Nikmedoed: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math></math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math></math>
| output_data = <math></math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

На шаге пересчёта матрицы принадлежности нормировочная сумма
<math>\sum^c_{j=1}\frac{1}{D_{kj}}</math>
может вычисляться однократно для каждого объекта данных и использоваться далее при вычислении всех его степеней принадлежности.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{ \sum^{c}_{j=1} {\left ( \frac{D_{ki}}{D_{kj}} \right )} }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:17:10Z

Nikmedoed:

{{algorithm
| name = Нечеткий алгоритм С-средних (Fuzzy C-means)
| serial_complexity = <math></math>
| pf_height = <math></math>
| pf_width = <math></math>
| input_data = <math></math>
| output_data = <math></math>
}}

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

На шаге пересчёта матрицы принадлежности нормировочная сумма
<math>\sum^c_{j=1}\frac{1}{D_{kj}}</math>
может вычисляться однократно для каждого объекта данных и использоваться далее при вычислении всех его степеней принадлежности.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:13:59Z

Nikmedoed:

Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

= ЧАСТЬ. Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

На шаге пересчёта матрицы принадлежности нормировочная сумма
<math>\sum^c_{j=1}\frac{1}{D_{kj}}</math>
может вычисляться однократно для каждого объекта данных и использоваться далее при вычислении всех его степеней принадлежности.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:08:05Z

Nikmedoed:

= ЧАСТЬ. Свойства и структура алгоритмов =

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

На шаге пересчёта матрицы принадлежности нормировочная сумма
<math>\sum^c_{j=1}\frac{1}{D_{kj}}</math>
может вычисляться однократно для каждого объекта данных и использоваться далее при вычислении всех его степеней принадлежности.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==

== [[Локальность данных и вычислений]] ==

== Возможные способы и особенности параллельной реализации алгоритма ==

== Масштабируемость алгоритма и его реализации ==

== Динамические характеристики и эффективность реализации алгоритма ==

== Выводы для классов архитектур ==

== Существующие реализации алгоритма ==

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:07:34Z

Nikmedoed: /* ЧАСТЬ. Программная реализация алгоритма */

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:05:49Z

Nikmedoed: /* ЧАСТЬ. Свойства и структура алгоритмов */

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:05:25Z

Nikmedoed: /* ЧАСТЬ. Программная реализация алгоритма */

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:05:00Z

Nikmedoed: /* Особенности реализации последовательного алгоритма */

''Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждого алгоритма. Описание состоит из двух частей. В [[#ЧАСТЬ. Свойства и структура алгоритмов|первой части]] описываются собственно алгоритмы и их свойства, а [[#ЧАСТЬ. Программная реализация алгоритмов|вторая]] посвящена описанию особенностей их программной реализации с учетом конкретных программно-аппаратных платформ. Такое деление на части сделано для того, чтобы машинно-независимые свойства алгоритмов, которые определяют качество их реализации на параллельных вычислительных системах, были бы выделены и описаны отдельно от множества вопросов, связанных с последующими этапами программирования алгоритмов и исполнения результирующих программ.''

Общая схема описания алгоритмов имеет следующий вид:

= ЧАСТЬ. Свойства и структура алгоритмов =
''Свойства алгоритмов никак не зависят от вычислительных систем, и с этой точки зрения данная часть AlgoWiki имеет безусловную собственную ценность. Описание алгоритма делается один раз, после чего многократно используется для его реализации в различных программно-аппаратных средах. Несмотря на то, что в данной части мы рассматриваем лишь машинно-независимые свойства алгоритмов, соображения, важные на этапе реализации, или же ссылки на соответствующие пункты [[#ЧАСТЬ. Программная реализация алгоритмов|части II AlgoWiki]], здесь также вполне уместны.''

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

На шаге пересчёта матрицы принадлежности нормировочная сумма
<math>\sum^c_{j=1}\frac{1}{D_{kj}}</math>
может вычисляться однократно для каждого объекта данных и использоваться далее при вычислении всех его степеней принадлежности.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= ЧАСТЬ. Программная реализация алгоритма =
''Вторая часть описания алгоритмов в рамках AlgoWiki рассматривает все составные части процесса их реализации. Рассматривается как последовательная реализация алгоритма, так и параллельная. Описывается взаимосвязь свойств программ, реализующих алгоритм, и особенностей архитектуры компьютера, на которой они выполняются. Исследуется работа с памятью, локальность данных и вычислений, описывается масштабируемость и эффективность параллельных программ, производительность компьютеров, достигаемая на данной программе. Обсуждаются особенности реализации для разных классов архитектур компьютеров, приводятся ссылки на реализации в существующих библиотеках.''

== Особенности реализации последовательного алгоритма ==
''''Здесь описываются особенности и варианты реализации алгоритма в виде последовательной программы, которые влияют на [[глоссарий#Эффективность реализации|''эффективность ее выполнения'']]. В частности, в данном разделе имеет смысл ''сказать о существовании блочных вариантов реализации алгоритма'', дополнительно описав потенциальные преимущества или недостатки, сопровождающие такую реализацию. Важный вопрос - это ''возможные варианты организации работы с данными'', варианты структур данных, наборов временных массивов и другие подобные вопросы. Для различных вариантов реализации следует оценить доступный ресурс параллелизма и объем требуемой памяти.

Важным нюансом является ''описание необходимой разрядности выполнения операций алгоритма'' (точности). На практике часто нет никакой необходимости выполнять все арифметические операции над вещественными числами с двойной точностью, т.к. это не влияет ни на устойчивость алгоритма, ни на точность получаемого результата. В таком случае, если значительную часть операций можно выполнять над типом float, и лишь в некоторых фрагментах необходим переход к типу double, это обязательно нужно отметить. Это прямое указание не только на правильную реализацию с точки зрения устойчивости по отношению к ошибкам округления, но и на более эффективную.

Опираясь на информацию из [[#Описание ресурса параллелизма алгоритма|п.1.8]] (описание ресурса параллелизма алгоритма), при описании последовательной версии стоит сказать про возможности [[глоссарий#Эквивалентное преобразование|''эквивалентного преобразования программ'']], реализующих данных алгоритм. В дальнейшем, это даст возможность простого использования доступного параллелизма или же просто покажет, как использовать присущий алгоритму параллелизм на практике. Например, параллелизм на уровне итераций самого внутреннего цикла обычно используется для векторизации. Однако, в некоторых случаях этот параллелизм можно поднять "вверх" по структуре вложенности объемлющих циклов, что делает возможной и эффективную реализацию данного алгоритма на многоядерных SMP-компьютерах.

С этой же точки зрения, в данном разделе весьма полезны соображения по реализации алгоритма на различных параллельных вычислительных платформах. Высокопроизводительные кластеры, многоядерные узлы, возможности для векторизации или использования ускорителей - особенности этих архитектур не только опираются на разные свойства алгоритмов, но и по-разному должны быть выражены в программах, что также желательно описать в данном разделе.''
''

== [[Локальность данных и вычислений]] ==
''Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах [2, 3]. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]''

== Возможные способы и особенности параллельной реализации алгоритма ==
Раздел довольно обширный, в котором должны быть описаны основные факты и положения, формирующие параллельную программу. К их числу можно отнести:
* представленный иерархически ресурс параллелизма, опирающийся на структуру циклических конструкций и на граф вызовов программы;
* комбинацию (иерархию) массового параллелизма и параллелизма конечного;
* возможные способы распределения операций между процессами/нитями;
* возможные способы распределения данных;
* оценку количества операций, объёма и числа пересылок данных (как общего числа, так и в пересчёте на каждый параллельный процесс);

и другие.

В этом же разделе должны быть даны рекомендации или сделаны комментарии относительно реализации алгоритма с помощью различных технологий параллельного программирования: MPI, OpenMP, CUDA или использования директив векторизации.

== Масштабируемость алгоритма и его реализации ==
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи [4]. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

== Динамические характеристики и эффективность реализации алгоритма ==
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода [5], предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

== Выводы для классов архитектур ==
В данный раздел должны быть включены рекомендации по реализации алгоритма для разных классов архитектур. Если архитектура какого-либо компьютера или платформы обладает специфическими особенностями, влияющими на эффективность реализации, то это здесь нужно отметить.

На практике это сделать можно по-разному: либо все свести в один текущий раздел, либо же соответствующие факты сразу включать в предшествующие разделы, где они обсуждаются и необходимы по смыслу. В некоторых случаях, имеет смысл делать отдельные варианты всей [[#ЧАСТЬ. Программная реализация алгоритмов|части II]] AlgoWiki применительно к отдельным классам архитектур, оставляя общей машинно-независимую [[#ЧАСТЬ. Свойства и структура алгоритмов|часть I]]. В любом случае, важно указать и позитивные, и негативные факты по отношению к конкретным классам. Можно говорить о возможных вариантах оптимизации или даже о "трюках" в написании программ, ориентированных на целевые классы архитектур.

== Существующие реализации алгоритма ==
Для многих пар алгоритм+компьютер уже созданы хорошие реализации, которыми можно и нужно пользоваться на практике. Данный раздел предназначен для того, чтобы дать ссылки на основные существующие последовательные и параллельные реализации алгоритма, доступные для использования уже сейчас. Указывается, является ли реализация коммерческой или свободной, под какой лицензией распространяется, приводится местоположение дистрибутива и имеющихся описаний. Если есть информация об особенностях, достоинствах и/или недостатках различных реализаций, то это также нужно здесь указать. Хорошими примерами реализации многих алгоритмов являются MKL, ScaLAPACK, PETSc, FFTW, ATLAS, Magma и другие подобные библиотеки.

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:04:46Z

Nikmedoed: /* ЧАСТЬ. Программная реализация алгоритма */

''Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждого алгоритма. Описание состоит из двух частей. В [[#ЧАСТЬ. Свойства и структура алгоритмов|первой части]] описываются собственно алгоритмы и их свойства, а [[#ЧАСТЬ. Программная реализация алгоритмов|вторая]] посвящена описанию особенностей их программной реализации с учетом конкретных программно-аппаратных платформ. Такое деление на части сделано для того, чтобы машинно-независимые свойства алгоритмов, которые определяют качество их реализации на параллельных вычислительных системах, были бы выделены и описаны отдельно от множества вопросов, связанных с последующими этапами программирования алгоритмов и исполнения результирующих программ.''

Общая схема описания алгоритмов имеет следующий вид:

= ЧАСТЬ. Свойства и структура алгоритмов =
''Свойства алгоритмов никак не зависят от вычислительных систем, и с этой точки зрения данная часть AlgoWiki имеет безусловную собственную ценность. Описание алгоритма делается один раз, после чего многократно используется для его реализации в различных программно-аппаратных средах. Несмотря на то, что в данной части мы рассматриваем лишь машинно-независимые свойства алгоритмов, соображения, важные на этапе реализации, или же ссылки на соответствующие пункты [[#ЧАСТЬ. Программная реализация алгоритмов|части II AlgoWiki]], здесь также вполне уместны.''

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

На шаге пересчёта матрицы принадлежности нормировочная сумма
<math>\sum^c_{j=1}\frac{1}{D_{kj}}</math>
может вычисляться однократно для каждого объекта данных и использоваться далее при вычислении всех его степеней принадлежности.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= ЧАСТЬ. Программная реализация алгоритма =
''Вторая часть описания алгоритмов в рамках AlgoWiki рассматривает все составные части процесса их реализации. Рассматривается как последовательная реализация алгоритма, так и параллельная. Описывается взаимосвязь свойств программ, реализующих алгоритм, и особенностей архитектуры компьютера, на которой они выполняются. Исследуется работа с памятью, локальность данных и вычислений, описывается масштабируемость и эффективность параллельных программ, производительность компьютеров, достигаемая на данной программе. Обсуждаются особенности реализации для разных классов архитектур компьютеров, приводятся ссылки на реализации в существующих библиотеках.''

== Особенности реализации последовательного алгоритма ==
''Здесь описываются особенности и варианты реализации алгоритма в виде последовательной программы, которые влияют на [[глоссарий#Эффективность реализации|''эффективность ее выполнения'']]. В частности, в данном разделе имеет смысл ''сказать о существовании блочных вариантов реализации алгоритма'', дополнительно описав потенциальные преимущества или недостатки, сопровождающие такую реализацию. Важный вопрос - это ''возможные варианты организации работы с данными'', варианты структур данных, наборов временных массивов и другие подобные вопросы. Для различных вариантов реализации следует оценить доступный ресурс параллелизма и объем требуемой памяти.

Важным нюансом является ''описание необходимой разрядности выполнения операций алгоритма'' (точности). На практике часто нет никакой необходимости выполнять все арифметические операции над вещественными числами с двойной точностью, т.к. это не влияет ни на устойчивость алгоритма, ни на точность получаемого результата. В таком случае, если значительную часть операций можно выполнять над типом float, и лишь в некоторых фрагментах необходим переход к типу double, это обязательно нужно отметить. Это прямое указание не только на правильную реализацию с точки зрения устойчивости по отношению к ошибкам округления, но и на более эффективную.

Опираясь на информацию из [[#Описание ресурса параллелизма алгоритма|п.1.8]] (описание ресурса параллелизма алгоритма), при описании последовательной версии стоит сказать про возможности [[глоссарий#Эквивалентное преобразование|''эквивалентного преобразования программ'']], реализующих данных алгоритм. В дальнейшем, это даст возможность простого использования доступного параллелизма или же просто покажет, как использовать присущий алгоритму параллелизм на практике. Например, параллелизм на уровне итераций самого внутреннего цикла обычно используется для векторизации. Однако, в некоторых случаях этот параллелизм можно поднять "вверх" по структуре вложенности объемлющих циклов, что делает возможной и эффективную реализацию данного алгоритма на многоядерных SMP-компьютерах.

С этой же точки зрения, в данном разделе весьма полезны соображения по реализации алгоритма на различных параллельных вычислительных платформах. Высокопроизводительные кластеры, многоядерные узлы, возможности для векторизации или использования ускорителей - особенности этих архитектур не только опираются на разные свойства алгоритмов, но и по-разному должны быть выражены в программах, что также желательно описать в данном разделе.''

== [[Локальность данных и вычислений]] ==
''Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах [2, 3]. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]''

== Возможные способы и особенности параллельной реализации алгоритма ==
Раздел довольно обширный, в котором должны быть описаны основные факты и положения, формирующие параллельную программу. К их числу можно отнести:
* представленный иерархически ресурс параллелизма, опирающийся на структуру циклических конструкций и на граф вызовов программы;
* комбинацию (иерархию) массового параллелизма и параллелизма конечного;
* возможные способы распределения операций между процессами/нитями;
* возможные способы распределения данных;
* оценку количества операций, объёма и числа пересылок данных (как общего числа, так и в пересчёте на каждый параллельный процесс);

и другие.

В этом же разделе должны быть даны рекомендации или сделаны комментарии относительно реализации алгоритма с помощью различных технологий параллельного программирования: MPI, OpenMP, CUDA или использования директив векторизации.

== Масштабируемость алгоритма и его реализации ==
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи [4]. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

== Динамические характеристики и эффективность реализации алгоритма ==
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода [5], предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

== Выводы для классов архитектур ==
В данный раздел должны быть включены рекомендации по реализации алгоритма для разных классов архитектур. Если архитектура какого-либо компьютера или платформы обладает специфическими особенностями, влияющими на эффективность реализации, то это здесь нужно отметить.

На практике это сделать можно по-разному: либо все свести в один текущий раздел, либо же соответствующие факты сразу включать в предшествующие разделы, где они обсуждаются и необходимы по смыслу. В некоторых случаях, имеет смысл делать отдельные варианты всей [[#ЧАСТЬ. Программная реализация алгоритмов|части II]] AlgoWiki применительно к отдельным классам архитектур, оставляя общей машинно-независимую [[#ЧАСТЬ. Свойства и структура алгоритмов|часть I]]. В любом случае, важно указать и позитивные, и негативные факты по отношению к конкретным классам. Можно говорить о возможных вариантах оптимизации или даже о "трюках" в написании программ, ориентированных на целевые классы архитектур.

== Существующие реализации алгоритма ==
Для многих пар алгоритм+компьютер уже созданы хорошие реализации, которыми можно и нужно пользоваться на практике. Данный раздел предназначен для того, чтобы дать ссылки на основные существующие последовательные и параллельные реализации алгоритма, доступные для использования уже сейчас. Указывается, является ли реализация коммерческой или свободной, под какой лицензией распространяется, приводится местоположение дистрибутива и имеющихся описаний. Если есть информация об особенностях, достоинствах и/или недостатках различных реализаций, то это также нужно здесь указать. Хорошими примерами реализации многих алгоритмов являются MKL, ScaLAPACK, PETSc, FFTW, ATLAS, Magma и другие подобные библиотеки.

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]

Участник:Nikmedoed/Нечеткий алгоритм С-средних (Fuzzy C-means)

2016-10-15T13:02:15Z

Nikmedoed: /* Свойства алгоритма */

''Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждого алгоритма. Описание состоит из двух частей. В [[#ЧАСТЬ. Свойства и структура алгоритмов|первой части]] описываются собственно алгоритмы и их свойства, а [[#ЧАСТЬ. Программная реализация алгоритмов|вторая]] посвящена описанию особенностей их программной реализации с учетом конкретных программно-аппаратных платформ. Такое деление на части сделано для того, чтобы машинно-независимые свойства алгоритмов, которые определяют качество их реализации на параллельных вычислительных системах, были бы выделены и описаны отдельно от множества вопросов, связанных с последующими этапами программирования алгоритмов и исполнения результирующих программ.''

Общая схема описания алгоритмов имеет следующий вид:

= ЧАСТЬ. Свойства и структура алгоритмов =
''Свойства алгоритмов никак не зависят от вычислительных систем, и с этой точки зрения данная часть AlgoWiki имеет безусловную собственную ценность. Описание алгоритма делается один раз, после чего многократно используется для его реализации в различных программно-аппаратных средах. Несмотря на то, что в данной части мы рассматриваем лишь машинно-независимые свойства алгоритмов, соображения, важные на этапе реализации, или же ссылки на соответствующие пункты [[#ЧАСТЬ. Программная реализация алгоритмов|части II AlgoWiki]], здесь также вполне уместны.''

== Общее описание алгоритма ==
Алгоритм кластеризации Fuzzy C-Means (FCM) был предложен Дж. Данном в 1973 году <ref>Dunn, J.C.: A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters. Journal of Cybernetics. 3 (1973): 32–57</ref> и доработан Дж. Бездеком в 1981 году <ref>Bezdek, J.C.: Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York (1981). ISBN 0-306-40671-3</ref>. В отличие от большинства существующих алгоритмов кластеризации, данный алгоритм является нечётким – каждый из объектов не входит однозначно в какой-либо кластер, а принадлежит всем кластерам с различными степенями принадлежности. Это даёт преимущества в качестве разбиения в случаях, когда кластеры находятся близко друг к другу, и большое число точек находится на их границах. Однако ценой такой нечёткости служат большие вычислительные затраты, чем у таких чётких алгоритмов, как Hard C-Means и K-Means, при сохранении таких их недостатков, как априорное определение числа кластеров и отсутствие гарантии глобальной оптимальности результата.

== Математическое описание алгоритма ==
Исходные данные: массив объектов <math>{X_k}\in{\R^n}, k=\overline{1,M}</math>, число кластеров c, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.
Вычисляемые данные: матрица разбиения <math>F</math> размера <math>M\times c</math> (элементы <math>\mu_{ki}\in[0,1]</math>, <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>), центры кластеров <math>V_i</math>, расстояния <math>D_{ki}</math> между объектами и центрами кластеров.

'''Формулы метода:'''

:<math>
\begin{align}
&V_i=\frac{\sum^{M}_{k=1} {\mu^m_{ki} * X_k}}{\sum^{M}_{k=1} {\mu^m_{ki}}},i=\overline{1,c}\\
&D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}\\
&\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}\\
\end{align}
</math>

== Вычислительное ядро алгоритма ==
Вычислительное ядро алгоритма Fuzzy C-Means составляют шаги вычисления центров кластеров и расстояний между ними и точками данных, которые требуют порядка <math>cMn</math> операций умножения за итерацию. Также, шаги вычисления центров кластеров и пересчёта матрицы принадлежности требуют по <math>cM</math> операций возведения в степень, что может быть более затратно при малых <math>n</math>.

Такое число операций возведения в степень достигается за счёт устранения некоторых повторных вычислений. Так, для шага вычисления центров кластеров величины <math>\mu_{ki}^m</math> могут вычисляться однократно и умножаться на <math>X_k</math> при включении в сумму, записанную в числителе.

На шаге пересчёта матрицы принадлежности нормировочная сумма
<math>\sum^c_{j=1}\frac{1}{D_{kj}}</math>
может вычисляться однократно для каждого объекта данных и использоваться далее при вычислении всех его степеней принадлежности.

== Макроструктура алгоритма ==
Алгоритм включает в себя три основных этапа – вычисление центров кластеров, вычисление расстояний между центрами кластеров и точками данных (включающее в себя макрооперации вычитания векторов и вычисления их норм, как правило в Евклидовом пространстве) и пересчёт матрицы принадлежности.

== Схема реализации последовательного алгоритма ==
Последовательность исполнения алгоритма следующая:

Инициализация происходит случайным заполнением матрицы принадлежности <math>F</math> с соблюдением условия нормировки <math>\sum_{i=1}^c {\mu_{ki} =1}</math> и переходом к шагу 1, либо случайным определением центров кластеров <math>V_i</math> и переходом к шагу 2.

Далее осуществляются итерации следующего вида:

# <math>V_i=\frac{\sum_{k=1}^{M} {\mu_{ki}^m * X_k}}{\sum_{k=1}^{M} {\mu_{ki}^m} },i=\overline{1,c}</math>
# <math>D_{ki}=\sqrt{{\lVert X_k - V_i \rVert}^2},k=\overline{1,M},i=\overline{1,c}</math>
# <math>\mu_{ki}=\frac{1}{{\left ( \sum^{c}_{j=1} {\frac{D_{ki}}{D_{kj}}} \right ) }^{{2}/{m-1}}
},k=\overline{1,M},i=\overline{1,c}</math>

В конце каждой итерации проверяется условие останова вида <math>\max_{k = \overline{1,M},i = \overline{1,c}} {( \left | \mu_{ki} - \mu_{ki}^* \right |)} < \varepsilon</math>, либо <math>\max_{i = \overline{1,c}} {( \left | V_i - V_i^* \right |)} < \varepsilon</math>, где <math>\mu_{ki}^* (V_i^*)</math> – значение <math>\mu_{ki}(V_i)</math>, вычисленное на предыдущей итерации. Если условие не выполнено, осуществляется переход к шагу 1.

== Последовательная сложность алгоритма ==
При кластеризации <math>M</math> объектов данных, представленных точками в <math>\R^n</math>, на <math>c</math> кластеров, алгоритм Fuzzy C-Means в последовательном варианте на каждой итерации производит:
* <math>cM(n+1)-2c-M</math> сложений,
* <math>cMn</math> вычитаний,
* <math>cM(2n+1)</math> умножений,
* <math>c(M+1)</math> делений,
* <math>2cM</math> возведений в степень,
* <math>cM</math> вычислений квадратного корня.
Если считать <math>n</math> малым, то в ''основную часть алгоритма'' входят все вышеперечисленные операции, в противном случае – операции сложения, вычитания и умножения. Вычислительная сложность одной итерации алгоритма Fuzzy C-Means – <math>O(cMn)</math>.

== Информационный граф ==
Приведём граф единичной итерации алгоритма в параллельном оптимизированном варианте:

[[File:C-means_paralle_graph.png|thumb|upright=2.5|frame|center|alt=Paralel Fuzzy C-Means|Каждая вершина данного графа соответствует операциям из алгоритма, указанным при помощи указанных формул. Каждый из p столбцов соответствует работе одного из процессов. Пометки справа указывают число повторений каждого узла в ходе одной итерации.]]

Раздел 1.8 уточняет, соответствуют ли эти повторения однотипным ярусам или точкам данных, вычисления для которых можно распараллелить и далее.

Каждый процесс обладает следующими данными:
* координатами точек данных <math>X_k</math>, <math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p}+1)}</math>, где <math>rnk</math> – номер процесса,
* значениями <math>\mu_{ki}</math> степени принадлежности для своих точек (<math>k=\overline{1+rnk* \frac{M}{p},rnk*(\frac{M}{p} +1)}, i=\overline{1,c}</math>),
* координатами центров кластеров <math>V_i</math>, <math>i=\overline{1,c}</math>.
Суммы <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m}</math> и <math>\sum_{k=1+rnk*\frac{M}{p}}^{rnk * ( \frac{M}{p} +1 )} {\mu_{ki}^m X_k}</math> вычисляются одновременно, поэтому значения <math>\mu_{ki}^m</math> вычисляются по одному разу за итерацию. Таким образом, второй ярус операций на рисунке на деле не содержит операций возведения в степень.
За счёт линейности большинства выражений относительно данных по точкам, процессы взаимодействуют только при редукции сумм, составляющих <math>V_i</math>. Всё остальное время каждый процессор работает только со своими <math>\frac{M}{p}</math> точками. Это обеспечивает применимость алгоритма для больших <math>M</math>.

== Ресурс параллелизма алгоритма ==
При распараллеливании по точкам исходных данных выполнение одной итерации алгоритма FCM может быть разделено на следующие ярусы:
* c ярусов нахождения частичных сумм знаменателя (по <math>\frac{M}{p}-1</math> сложений, <math>\frac{M}{p}</math> операций возведения в степень на процесс),
* c ярусов нахождения частичных сумм числителя (по <math>\frac{M}{p} -1</math> сложений, <math>\frac{M}{p}</math> умножений на процесс),
* c редукций сумм и передач значений <math>V_i</math> процессам,
* c ярусов вычисления расстояний до центров (по <math>n-1</math> сложений, <math>n</math> вычитаний, <math>n</math> умножений, 1 взятие квадратного корня), каждый процесс получает<math>\frac{M}{p}</math> точек на обработку,
* 1 ярус вычислений нормировочных сумм (по <math>c-1</math> сложений, c делений), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку,
* c ярусов вычисления степеней принадлежности точек (по 1 умножению, 1 делению, 1 возведению в степень), каждый процесс получает <math>\frac{M}{p}</math> точек на обработку.
Таким образом, в параллельном варианте при условии наличия в каждом узле достаточного объёма памяти для хранения всего массива координат центров кластеров высота и ширина ЯПФ алгоритма FCM равны соответственно <math>O(c)</math> и <math>O(Mn)</math>.

== Входные и выходные данные алгоритма ==
'''Входные данные''': массив векторов <math>X_i</math>, число кластеров <math>c</math>, экспоненциальный вес <math>m\in{[1,\infty)}</math>, параметр останова <math>\varepsilon>0</math>.

'''Объём входных данных''': <math>Mn</math> для входных векторов, 3 вспомогательных параметра.

'''Выходные данные''': матрица принадлежности <math>F</math> (элементы <math>\mu_{ki}\in[0,1]</math>). Условие нормировки: <math>\sum^{c}_{i=1} {\mu_{ki}} = 1</math>.

'''Объём выходных данных''': <math>cM</math>.

== Свойства алгоритма ==
В случае неограниченного распараллеливания по точкам данных (1 процесс на точку), отношение последовательной сложности алгоритма к параллельной пропорционально <math>Mn</math> (на практике величина <math>n</math> считается малой и не учитывается).

Параметр <math>m</math> задаёт степень «размытости» кластеров. В отсутствие априорных данных его обычно берут равным 2. В предельном случае сведения параметра <math>m</math> к значению 1, кластеры становятся чёткими и алгоритм вырождается в алгоритм кластеризации K-Means.

Алгоритм недетерминирован, начальное положение кластеров задаётся случайно либо явно, либо опосредованно (через матрицу принадлежности). Алгоритм сходится к локальному экстремуму <ref>Höppner, F., Klawonn, F.: [https://public.fh wolfenbuettel.de/~klawonn/Papers/hoeppnerklawonntfs03.pdf A Contribution to Convergence Theory of Fuzzy c-Means and Derivatives], Дата последнего обращения: 13.10.2016</ref> и, таким образом, не гарантирует оптимальный результат при случайном выборе начальных значений.

= ЧАСТЬ. Программная реализация алгоритма =
Вторая часть описания алгоритмов в рамках AlgoWiki рассматривает все составные части процесса их реализации. Рассматривается как последовательная реализация алгоритма, так и параллельная. Описывается взаимосвязь свойств программ, реализующих алгоритм, и особенностей архитектуры компьютера, на которой они выполняются. Исследуется работа с памятью, локальность данных и вычислений, описывается масштабируемость и эффективность параллельных программ, производительность компьютеров, достигаемая на данной программе. Обсуждаются особенности реализации для разных классов архитектур компьютеров, приводятся ссылки на реализации в существующих библиотеках.

== Особенности реализации последовательного алгоритма ==
Здесь описываются особенности и варианты реализации алгоритма в виде последовательной программы, которые влияют на [[глоссарий#Эффективность реализации|''эффективность ее выполнения'']]. В частности, в данном разделе имеет смысл ''сказать о существовании блочных вариантов реализации алгоритма'', дополнительно описав потенциальные преимущества или недостатки, сопровождающие такую реализацию. Важный вопрос - это ''возможные варианты организации работы с данными'', варианты структур данных, наборов временных массивов и другие подобные вопросы. Для различных вариантов реализации следует оценить доступный ресурс параллелизма и объем требуемой памяти.

Важным нюансом является ''описание необходимой разрядности выполнения операций алгоритма'' (точности). На практике часто нет никакой необходимости выполнять все арифметические операции над вещественными числами с двойной точностью, т.к. это не влияет ни на устойчивость алгоритма, ни на точность получаемого результата. В таком случае, если значительную часть операций можно выполнять над типом float, и лишь в некоторых фрагментах необходим переход к типу double, это обязательно нужно отметить. Это прямое указание не только на правильную реализацию с точки зрения устойчивости по отношению к ошибкам округления, но и на более эффективную.

Опираясь на информацию из [[#Описание ресурса параллелизма алгоритма|п.1.8]] (описание ресурса параллелизма алгоритма), при описании последовательной версии стоит сказать про возможности [[глоссарий#Эквивалентное преобразование|''эквивалентного преобразования программ'']], реализующих данных алгоритм. В дальнейшем, это даст возможность простого использования доступного параллелизма или же просто покажет, как использовать присущий алгоритму параллелизм на практике. Например, параллелизм на уровне итераций самого внутреннего цикла обычно используется для векторизации. Однако, в некоторых случаях этот параллелизм можно поднять "вверх" по структуре вложенности объемлющих циклов, что делает возможной и эффективную реализацию данного алгоритма на многоядерных SMP-компьютерах.

С этой же точки зрения, в данном разделе весьма полезны соображения по реализации алгоритма на различных параллельных вычислительных платформах. Высокопроизводительные кластеры, многоядерные узлы, возможности для векторизации или использования ускорителей - особенности этих архитектур не только опираются на разные свойства алгоритмов, но и по-разному должны быть выражены в программах, что также желательно описать в данном разделе.

== [[Локальность данных и вычислений]] ==
Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах [2, 3]. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]

== Возможные способы и особенности параллельной реализации алгоритма ==
Раздел довольно обширный, в котором должны быть описаны основные факты и положения, формирующие параллельную программу. К их числу можно отнести:
* представленный иерархически ресурс параллелизма, опирающийся на структуру циклических конструкций и на граф вызовов программы;
* комбинацию (иерархию) массового параллелизма и параллелизма конечного;
* возможные способы распределения операций между процессами/нитями;
* возможные способы распределения данных;
* оценку количества операций, объёма и числа пересылок данных (как общего числа, так и в пересчёте на каждый параллельный процесс);

и другие.

В этом же разделе должны быть даны рекомендации или сделаны комментарии относительно реализации алгоритма с помощью различных технологий параллельного программирования: MPI, OpenMP, CUDA или использования директив векторизации.

== Масштабируемость алгоритма и его реализации ==
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи [4]. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

== Динамические характеристики и эффективность реализации алгоритма ==
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода [5], предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

== Выводы для классов архитектур ==
В данный раздел должны быть включены рекомендации по реализации алгоритма для разных классов архитектур. Если архитектура какого-либо компьютера или платформы обладает специфическими особенностями, влияющими на эффективность реализации, то это здесь нужно отметить.

На практике это сделать можно по-разному: либо все свести в один текущий раздел, либо же соответствующие факты сразу включать в предшествующие разделы, где они обсуждаются и необходимы по смыслу. В некоторых случаях, имеет смысл делать отдельные варианты всей [[#ЧАСТЬ. Программная реализация алгоритмов|части II]] AlgoWiki применительно к отдельным классам архитектур, оставляя общей машинно-независимую [[#ЧАСТЬ. Свойства и структура алгоритмов|часть I]]. В любом случае, важно указать и позитивные, и негативные факты по отношению к конкретным классам. Можно говорить о возможных вариантах оптимизации или даже о "трюках" в написании программ, ориентированных на целевые классы архитектур.

== Существующие реализации алгоритма ==
Для многих пар алгоритм+компьютер уже созданы хорошие реализации, которыми можно и нужно пользоваться на практике. Данный раздел предназначен для того, чтобы дать ссылки на основные существующие последовательные и параллельные реализации алгоритма, доступные для использования уже сейчас. Указывается, является ли реализация коммерческой или свободной, под какой лицензией распространяется, приводится местоположение дистрибутива и имеющихся описаний. Если есть информация об особенностях, достоинствах и/или недостатках различных реализаций, то это также нужно здесь указать. Хорошими примерами реализации многих алгоритмов являются MKL, ScaLAPACK, PETSc, FFTW, ATLAS, Magma и другие подобные библиотеки.

= Литература =

[[en:Parallel Fuzzy c-Means Clustering]]