Алговики - Вклад [ru]

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-11-17T00:52:57Z

Александр Куваев:

{{Assignment|Преподаватель 1|Dexter}}
{{Assignment|Algoman}}

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма, реализация алгоритма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма, замеры времени выполнения и визуализация результата)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариаций для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариаций <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициализации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариаций единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* '''Последовательное выполнение шагов E и M''' до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритм состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариаций кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеливается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательность действий. В предположении о том, что число объектов выборки много больше размерности пространства признаков (что выполняется для подавляющего большинства прикладных задач), параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M также эффективно распараллеливается по объектам с последующей агрегацией результатов по кластерам: параллельная сложность M-шага — <math>O(k * n)</math>.

Таким образом, параллельная сложность EM-алгоритма — <math>O(imax * k * n^{2})</math>.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Вычислительная мощность EM-алгоритма в предположении о том, что <math>l \gg n</math> (это условие выполняется в подавляющем большинстве прикладных задач), оценивается величиной <math>O(imax * k * n)</math>.

Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариаций в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование масштабируемости параллельной реализации EM-алгоритма проводилось на суперкомпьютере Blue Gene/P. Для этого использовалась собственная реализация алгоритма, написанная на языке C++ с использованием технологий MPI и OpenMP.

Для проведения исследования были сгенерированы наборы данных из смеси двух двумерных нормальных распределений с диагональными матрицами ковариаций.

Набор значений параметров запуска реализации алгоритма:
* число процессоров: 1, 4, 8, 16, 32, 48, 64, 80, 96, 112, 128
* число элементов выборки: 1000, 25000, 50000, 75000, 100000, 200000, 300000, 400000, 500000, 600000, 700000, 800000, 900000, 1000000
* размерность пространства признаков: 2
* число кластеров: 2
* максимальное число итераций: MAX_INT
* минимальная величина изменения логарифма правдоподобия: 1e-6

Начальные значения параметров смеси задавались следующим образом:
* центры кластеров - случайные элементы выборки
* матрицы ковариаций - единичные
* веса компонент равны между собой

В связи с тем, что время и результат работы алгоритма сильно зависят от рандомизированной начальной инициализации центров кластеров, для каждого фиксированного набора параметров производилось по 25 запусков программы. В качестве итогового времени работы выбиралось минимальное время среди всех запусков.

На рисунке 4 изображена зависимость времени работы алгоритма от числа процессоров и числа элементов выборки.

[[File:EM-time.png|thumb|center|1200px|Рисунок 4. Зависимость времени работы параллельной реализации EM-алгоритма от числа процессоров и числа элементов выборки.]]

Как видно из рисунка 4, при фиксированном числе процессоров зависимость времени выполнения от количества объектов выборки очень близка к линейной, что хорошо согласуется с теоретической оценкой.

На следующих рисунках приведены графики зависимости производительности и эффективности реализации EM-алгоритма от числа процессоров и числа элементов выборки.

[[File:EM-performance.png|thumb|center|1200px|Рисунок 5. Зависимость производительности параллельной реализации EM-алгоритма от числа процессоров и числа элементов выборки.]]

[[File:EM-efficiency.png|thumb|center|1200px|Рисунок 6. Зависимость эффективности параллельной реализации EM-алгоритма от числа процессоров и числа элементов выборки.]]

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:
* минимальная эффективность реализации 0.67%
* максимальная эффективность реализации 1.19%

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-11-17T00:39:18Z

Александр Куваев:

{{Assignment|Преподаватель 1|Dexter}}
{{Assignment|Algoman}}

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма, реализация алгоритма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма, замеры времени выполнения и визуализация результата)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариаций для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариаций <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициализации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариаций единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* '''Последовательное выполнение шагов E и M''' до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритм состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариаций кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеливается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательность действий. В предположении о том, что число объектов выборки много больше размерности пространства признаков (что выполняется для подавляющего большинства прикладных задач), параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M также эффективно распараллеливается по объектам с последующей агрегацией результатов по кластерам: параллельная сложность M-шага — <math>O(k * n)</math>.

Таким образом, параллельная сложность EM-алгоритма — <math>O(imax * k * n^{2})</math>.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Вычислительная мощность EM-алгоритма в предположении о том, что <math>l \gg n</math> (это условие выполняется в подавляющем большинстве прикладных задач), оценивается величиной <math>O(imax * k * n)</math>.

Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариаций в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование масштабируемости параллельной реализации EM-алгоритма проводилось на суперкомпьютере Blue Gene/P. Для этого использовалась собственная реализация алгоритма, написанная на языке C++ с использованием технологий MPI и OpenMP.

Для проведения исследования были сгенерированы наборы данных из смеси двух двумерных нормальных распределений с диагональными матрицами ковариаций.

Набор значений параметров запуска реализации алгоритма:
* число процессоров: 1, 8, 16, 32, 48, 64, 80, 96, 112, 128
* число элементов выборки: 1000, 25000, 50000, 75000, 100000, 200000, 300000, 400000, 500000, 600000, 700000, 800000, 900000, 1000000
* размерность пространства признаков: 2
* число кластеров: 2
* максимальное число итераций: MAX_INT
* минимальная величина изменения логарифма правдоподобия: 1e-6

Начальные значения параметров смеси задавались следующим образом:
* центры кластеров - случайные элементы выборки
* матрицы ковариаций - единичные
* веса компонент равны между собой

В связи с тем, что время и результат работы алгоритма сильно зависят от рандомизированной начальной инициализации центров кластеров, для каждого фиксированного набора параметров производилось по 25 запусков программы. В качестве итогового времени работы выбиралось минимальное время среди всех запусков.

На рисунке 4 изображена зависимость времени работы алгоритма от числа процессоров и числа элементов выборки.

[[File:EM-time.png|thumb|center|1200px|Рисунок 4. Зависимость времени работы параллельной реализации EM-алгоритма от числа процессоров и числа элементов выборки.]]

Как видно из рисунка 4, при фиксированном числе процессоров зависимость времени выполнения от количества объектов выборки очень близка к линейной, что хорошо согласуется с теоретической оценкой.

На следующих рисунках приведены графики зависимости производительности и эффективности реализации EM-алгоритма от числа процессоров и числа элементов выборки.

[[File:EM-performance.png|thumb|center|1200px|Рисунок 5. Зависимость производительности параллельной реализации EM-алгоритма от числа процессоров и числа элементов выборки.]]

[[File:EM-efficiency.png|thumb|center|1200px|Рисунок 6. Зависимость эффективности параллельной реализации EM-алгоритма от числа процессоров и числа элементов выборки.]]

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:
* минимальная эффективность реализации 0.67%
* максимальная эффективность реализации 1.19%

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-11-15T20:52:38Z

Александр Куваев:

{{Assignment|Algoman}}

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма, реализация алгоритма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма, замеры времени выполнения и визуализация результата)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариаций для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариаций <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициализации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариаций единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* '''Последовательное выполнение шагов E и M''' до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритм состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариаций кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеливается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательность действий. В предположении о том, что число объектов выборки много больше размерности пространства признаков (что выполняется для подавляющего большинства прикладных задач), параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M также эффективно распараллеливается по объектам с последующей агрегацией результатов по кластерам: параллельная сложность M-шага — <math>O(k * n)</math>.

Таким образом, параллельная сложность EM-алгоритма — <math>O(imax * k * n^{2})</math>.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Вычислительная мощность EM-алгоритма в предположении о том, что <math>l \gg n</math> (это условие выполняется в подавляющем большинстве прикладных задач), оценивается величиной <math>O(imax * k * n)</math>.

Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариаций в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование масштабируемости параллельной реализации EM-алгоритма проводилось на суперкомпьютере Blue Gene/P. Для этого использовалась собственная реализация алгоритма, написанная на языке C++ с использованием технологий MPI и OpenMP.

Для проведения исследования были сгенерированы наборы данных из смеси двух двумерных нормальных распределений с диагональными матрицами ковариаций.

Набор значений параметров запуска реализации алгоритма:
* число процессоров: 1, 8, 16, 32, 48, 64, 80, 96, 112, 128
* число элементов выборки: 1000, 25000, 50000, 75000, 100000, 200000, 300000, 400000, 500000, 600000, 700000, 800000, 900000, 1000000
* размерность пространства признаков: 2
* число кластеров: 2
* максимальное число итераций: MAX_INT
* минимальная величина изменения логарифма правдоподобия: 1e-6

Начальные значения параметров смеси задавались следующим образом:
* центры кластеров - случайные элементы выборки
* матрицы ковариаций - единичные
* веса компонент равны между собой

В связи с тем, что время и результат работы алгоритма сильно зависят от рандомизированной начальной инициализации центров кластеров, для каждого фиксированного набора параметров производилось по 25 запусков программы. В качестве итогового времени работы выбиралось минимальное время среди всех запусков.

На рисунке 4 изображена зависимость времени работы алгоритма от числа процессоров и числа элементов выборки.

[[File:EM_time.png|thumb|center|1200px|Рисунок 4. Зависимость времени работы параллельной реализации EM-алгоритма от числа процессоров и числа элементов выборки.]]

Как видно из рисунка 4, при фиксированном числе процессоров зависимость времени выполнения от количества объектов выборки очень близка к линейной, что хорошо согласуется с теоретической оценкой.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-31T18:12:05Z

Александр Куваев:

{{Assignment}}

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариаций для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариаций <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициализации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариаций единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* '''Последовательное выполнение шагов E и M''' до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритм состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариаций кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеливается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательность действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Вычислительная мощность EM-алгоритма в предположении о том, что <math>l \gg n</math> (это условие выполняется в подавляющем большинстве прикладных задач), оценивается величиной <math>O(imax * k * n)</math>.

Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариаций в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Обсуждение участника:Александр Куваев

2016-10-31T18:11:00Z

Александр Куваев: /* Замечения от 31.10 */

== Замечания к [[Участник:Александр_Куваев/Алгоритм_кластеризации,_основанный_на_максимизации_ожидания]] ==

1) отсутствует оценка вычислительной мощности алгоритма в п 1.10 - замечание исправлено

== Замечения от 31.10 ==

отсутствует ссылка на источник картинки в п 1.1
"- В конце статьи должен быть приведен список всех источников, откуда бралась информация по алгоритму. Если вы используется готовый рисунок, то сслыку на источник нужно разместить либо в подписи к рисунку, либо в тексте, где стоит ссылка на рисунок." - изображение генерировалось самостоятельно

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-29T09:56:46Z

Александр Куваев:

Обсуждение участника:Александр Куваев

2016-10-25T23:13:10Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-25T23:11:10Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:59:51Z

Александр Куваев:

{{Assignment}}

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариаций для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариаций <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициализации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариаций единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* '''Последовательное выполнение шагов E и M''' до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритм состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариаций кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеливается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательность действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариаций в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:50:25Z

Александр Куваев:

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* '''Последовательное выполнение шагов E и M''' до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритм состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:49:01Z

Александр Куваев:

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* '''Последовательное выполнение шагов E и M''' до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:48:04Z

Александр Куваев:

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Входные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Выходные данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:45:32Z

Александр Куваев:

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому объекту будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:43:36Z

Александр Куваев:

Авторы описания:
* Куваев А.С., группа 620 (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В., группа 616 (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:40:24Z

Александр Куваев:

Авторы описания:
* Куваев А.С. (математическая постановка задачи, схема реализации алгоритма, оценка сложности, описание ресурса параллелизма)
* Щенявская Е.В. (описание алгоритма, визуализация информационного графа и примера работы алгоритма, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:38:38Z

Александр Куваев:

Авторы описания:
* Куваев А.С. (математическая постановка задачи, схема реализации алгоритма, оценка сложности)
* Щенявская Е.В. (описание алгоритма, визуализация информационного графа, описание свойств алгоритма)

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:33:36Z

Александр Куваев: /* Информационный граф */

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы<ref name=voevodin>Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.</ref> шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:31:56Z

Александр Куваев: /* Общее описание алгоритма */

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга<ref name=vorontsov>Воронцов К.В., Математические методы обучения по прецедентам.</ref>.

Решение этой задачи принципиально неоднозначно по следующим причинам<ref name=vorontsov/>:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью<ref name=korolev>Королёв В.Ю., ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. - М.: ИПИРАН, 2007.</ref>. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:17:32Z

Александр Куваев: /* Существующие реализации алгоритма */

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
# [http://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html#sklearn.mixture.GaussianMixture scikit-learn(Python)]
# [http://docs.opencv.org/2.4/modules/ml/doc/expectation_maximization.html OpenCV(C++/Python)]
# [http://www.mlpack.org/docs/mlpack-git/doxygen.php?doc=classmlpack_1_1gmm_1_1GMM.html MLPack(C++)]
# [http://arma.sourceforge.net/docs.html#gmm_diag Armadillo(C++)]
# [https://www.mathworks.com/help/stats/fitgmdist.html Matlab]

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:04:02Z

Александр Куваев: /* Свойства алгоритма */

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная математическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T20:01:16Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===
Достоинства EM-алгоритма:
* Мощная статистическая основа
* Слабая чувствительность к выбросам
* Быстрая сходимость при удачной инициализации параметров
* Линейный рост сложности при увеличении количества объектов

Недостатки EM-алгоритма:
* В классическом варианте не может самостоятельно определить количество компонент смеси
* Трудоемкий и неустойчивый процесс обращения матриц ковариации в случае несферических компонент смеси
* Не является детерминированным: в начале работы происходит инициализация начальных параметров случайным образом
* Не является устойчивым: результат работы сильно зависит от инициализации параметров. При неудачной инициализации может обладать низкой скоростью сходимости, может сойтись к локальному экстремуму или не сойтись вовсе

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T19:39:13Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления на шаге M можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T19:38:09Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
На рисунках 2 и 3 представлены информационные графы шагов E и M соответственно. Прямоугольниками обозначены входные данные (с пометкой in/out), эллипсами обозначены операции, производимые над данными согласно алгоритму.

Как видно из рисунка 2, E-шаг распадается на:
* Обращение матриц ковариаций и вычисление их определителей
* Независимый расчет скрытых переменных по каждому объекту

[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

На рисунке 3 видно, что некоторые промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T19:24:24Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется. Также стоит отметить, что для всех объектов выполняется одна и та же последовательнось действий. Таким образом, параллельная сложность E-шага — <math>O(k * n^{2})</math>.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T18:57:51Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===
Из информационных графов на рисунках 2 и 3 видно, что:
* Шаг E — наиболее ресурсоемкий этап алгоритма — эффективно распараллеивается по объектам после предварительного обращения матриц ковариаций и вычисления их определителей: при расчете скрытых переменных для фиксированного объекта информация о других объектах не используется.
* Менее ресурсоемкий шаг M распараллеливается хуже: промежуточные вычисления можно проводить независимо для каждого объекта, но после этого придется проводить агрегацию полученных результатов по кластерам.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T17:58:10Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
[[File:E-step.png|thumb|center|1100px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

[[File:M-step.png|thumb|center|1100px|Рисунок 3. Граф шага M с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-15T16:02:23Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===
[[File:E-step.png|thumb|center|979px|Рисунок 2. Граф шага E с отображением входных и выходных данных.]]

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T23:06:00Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k \in \N</math>, максимальное число итераций <math>imax \in \N</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon \in \R</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T22:35:32Z

Александр Куваев:

Авторы описания: Куваев А.С. и Щенявская Е.В.

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===
Задача кластеризации заключается в разбиении входного множества объектов на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались друг от друга.

Решение этой задачи принципиально неоднозначно по следующим причинам:
# результат кластеризации зависит от способа задания меры сходства объектов выборки
# не существует однозначно наилучшего критерия качества кластеризации
# число кластеров, как правило, неизвестно заранее и задается из некоторых априорных соображений (хотя существуют алгоритмы, способные определять число кластеров автоматически)

По описанной выше причине существует большое число алгоритмов кластеризации, приводящих к различным разбиениям исходного множества объектов. На этой странице представлено описание одного из таких методов — EM-алгоритма. EM-алгоритм опирается на предположение о вероятностной природе данных: элементы выборки получены случайно и независимо из смеси распределений с фиксированным числом компонент <math>k</math>. Таким образом, плотность распределения на множестве объектов имеет следующий вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси (кластера).

Везде в дальнейшем будем предполагать, что <math>p_{j}</math> имеют вид многомерных нормальных плотностей с произвольной матрицей ковариации: смеси нормальных распределений позволяют аппроксимировать произвольные непрерывные функции плотности с наперед заданной точностью. Результатом работы EM-алгоритма являются оценки априорных вероятностей компонент смеси <math>w_{j}</math>, а также оценки векторов математических ожиданий и матриц ковариации для каждой компоненты. Зная параметры распределения смеси, каждому наблюдению будет сопоставляться тот кластер, вероятность принадлежности к которому будет максимальной.

EM-алгоритм позволяет значительно упростить задачу максимизации правдоподобия выборки путем искусственного введения вспомогательной матрицы скрытых переменных <math>G</math>. Алгоритм заключается в последовательном повторении шагов E(expectation) и M(maximization):
* На шаге E на основе текущего приближения параметров смеси по формуле Байеса вычисляются ожидаемые значения скрытых переменных <math>g_{ij}</math> — апостериорные вероятности того, что <math>i</math>-й объект принадлежит кластеру <math>j</math>.
* На шаге M решается задача максимизации правдоподобия для нахождения следующего приближения параметров смеси на основе текущего приближения и матрицы скрытых переменных, при этом решение этой задачи выписывается в явном виде.

[[File:EM iterations.png|thumb|center|800px|Рисунок 1. Визуализация компонент смеси после некоторых итераций алгоритма в двумерном пространстве признаков. Для каждой компоненты эллипсами выделены доверительные области с уровнями доверия 0.9, 0.95 и 0.99.]]

=== Математическое описание алгоритма ===
Пусть заданы <math>l</math> объектов <math>x_{1},\dotsc,x_{l}</math>, каждый из которых описывается <math>n</math> числовыми признаками. Таким образом, определена матрица объектов-признаков <math>X \in \R^{l \times n}.</math> Предполагается, что объекты выбраны случайно и независимо из смеси <math>n</math>-мерных нормальных распределений с фиксированным числом компонент <math>k</math>. Плотность распределения на множестве объектов имеет вид:

:<math>p(x)=\sum_{j=1}^{k}w_{j}p_{j}(x), \ \sum_{j=1}^{k}w_{j}=1, \ w_{j} \ge 0 </math>, где <math>p_{j}</math> - плотность распределения <math>j</math>-й компоненты смеси.

Каждая компонента смеси описывается <math>n</math>-мерным вектором математических ожиданий <math>\mu_{j}</math> и матрицей ковариации <math>\Sigma_{j}</math> порядка <math>n</math>, <math>j = 1,\dotsc,k</math>.

'''Исходные данные:''' матрица объектов-признаков <math>X</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Вычисляемые данные:''' набор оценок весов, математических ожиданий и ковариационных матриц компонент смеси <math>\theta = (w_{1},...,w_{k}; \; \mu_{1},...,\mu_{k}; \; \Sigma_{1},...,\Sigma_{k})</math>, максимизирующий правдоподобие выборки.

'''Структура алгоритма:'''
* '''Инициализация параметров:''' существует большое число вариантов инициальзации параметров распределения. Один из возможных подходов — задание векторов математических ожиданий компонент случайными элементами выборки, задание матриц ковариации единичными матрицами и задание весов компонент равными <math>\frac{1}{k}.</math>
* Последовательное выполнение шагов E и M до тех пор, пока правдоподобие выборки не стабилизируется или не будет достигнуто максимальное число итераций:
** '''Шаг E:''' вычисление значений скрытых переменных по формуле Байеса:
*:<math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{\sum_{s=1}^{k} w_{s} p_{s}(x_{i})}</math> , где <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr), \ i = 1,\dotsc,l; \ j = 1,\dotsc,k </math>
** '''Шаг M:''' перерасчет параметров смеси на основе текущего приближения и матрицы скрытых переменных:
*:<math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}, \ j = 1,\dotsc,k;</math>
*:<math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}, \ j = 1,\dotsc,k;</math>
*:<math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T, \ j = 1,\dotsc,k.</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро EM-алгоритма — процедура последовательного выполнения шагов E и M:
* На шаге E на основе текущего приближения параметров смеси вычисляются ожидаемые значения скрытых переменных
* На шаге M вычисляется следующее приближение параметров смеси на основе текущего приближения и матрицы скрытых переменных
Наиболее трудоемкой операцией с вычислительной точки зрения является шаг E, в ходе которого производится обращение ковариационных матриц, вычисление их определителей, а также многократное перемножение векторов и матриц при вычислении скрытых переменных.

=== Макроструктура алгоритма ===
Алгоритма состоит из двух итерационно проводимых макроопераций: E-шага и M-шага.

В ходе E-шага используется:
* Обращение ковариационной матрицы и вычисление ее определителя
* Умножение вектор-строки на матрицу и вектор-строки на вектор-столбец
В ходе M-шага используется:
* Умножение вектор-столбца на вектор-строку
* Взвешенное суммирование векторов и матриц

=== Схема реализации последовательного алгоритма ===
# Для всех <math>j = 1,\dotsc,k</math>:
#: Инициализировать <math>w_{j}, \ \mu_{j}, \ \Sigma_{j}</math>
# Для всех <math>iter = 1,\dotsc,imax</math>:
## Шаг E:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>|\Sigma_{j}|, \ \Sigma_{j}^{-1}</math>
##: Для всех <math>i = 1,\dotsc,l</math>:
##:: <math>sum = 0</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>p_{j}(x_{i}) = \frac{1}{(2\pi)^{n/2}\sqrt{|\Sigma_{j}|}} \exp \biggl( -\frac{1}{2}(x_{i} - \mu_{j})^{T} \Sigma_{j}^{-1} (x_{i} - \mu_{j}) \biggr)</math>
##::: <math>sum = sum + w_{j}p_{j}(x_{i})</math>
##:: Для всех <math>j = 1,\dotsc,k</math>:
##::: Вычислить <math>g_{ij} = \frac{w_{j} p_{j}(x_{i})}{sum}</math>
## Шаг M:
##: Для всех <math>j = 1,\dotsc,k</math>:
##:: Вычислить <math>w_{j} = \frac{1}{l} \sum_{i=1}^{l} g_{ij}</math>
##:: Вычислить <math>\mu_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij} x_{i}</math>
##:: Вычислить <math>\Sigma_{j} = \frac{1}{l w_{j}} \sum_{i=1}^{l} g_{ij}(x_{i} - \mu_{j})(x_{i} - \mu_{j})^T</math>
## Вычислить изменения логарифма правдоподобия <math>\Delta</math>
## Если <math>\Delta < \varepsilon</math>, то досрочно выйти из цикла
# Вернуть <math>w_{j}, \mu_{j}, \Sigma_{j}, \ j = 1,\dotsc,k.</math>

=== Последовательная сложность алгоритма ===
Рассмотрим мультипликативную сложность одной итерации алгоритма:
* '''E-шаг:'''
** Сложность обращения матрицы ковариаций и вычисления ее определителя — <math>O(n^{3})</math> (для простоты будем рассматривать метод Гаусса)
** Сложность вычисления расстояния Махаланобиса (показателя экспоненты) при вычислении значения каждой скрытой переменной — <math>O(n^{2})</math>
** Общая сложность E-шага — <math>O(k * n^{3} + k * l * n^{2})</math>
* '''M-шаг:'''
** Сложность пересчета веса кластера — <math>O(l)</math>
** Сложность пересчета центра кластера — <math>O(l * n)</math>
** Сложность пересчета матрицы ковариации кластера — <math>O(l * n)</math>
** Общая сложность M-шага — <math>O(k * l * n)</math>

Таким образом, общая сложность одной итерации — <math>O(k * n^{2} * (l + n))</math>. При учете ограничения на максимальное число итераций получим оценку общей сложности алгоритма — <math>O(imax * k * n^{2} * (l + n))</math>.

Большое влияние на сложность E-шага оказывает необходимость обращать ковариационные матрицы и вычислять их определители. Помимо того, что это трудоемкая операция, ковариационные матрицы могут оказаться плохо обусловленными, что может привести к неустойчивости выборочных оценок параметров смеси. Обращения матриц можно избежать, если принять гипотезу о том, что в каждой компоненте смеси признаки некоррелированы, то есть ковариационные матрицы диагональные. В таком случае общая сложность алгоритма составит <math>O(imax * k * n * l)</math>.

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' плотная матрица объектов-признаков <math>X \in \R^{l \times n}</math>, число кластеров <math>k</math>, максимальное число итераций <math>imax</math>, минимальная величина изменения логарифма правдоподобия <math>\varepsilon</math>.

'''Объём входных данных:''' <math>ln + 3</math>

'''Выходные данные:''' вещественный вектор весов <math>w \in \R^{k}</math>, <math>k</math> вещественных векторов математических ожиданий <math>\mu_{j} \in \R^{n}</math> и <math>k</math> вещественных ковариационных матриц <math>\Sigma_{j} \in \R^{n \times n}</math>.

'''Объём выходных данных:''' <math>k(n^{2}+n+1)</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T21:48:48Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T21:38:05Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T21:36:22Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T21:35:51Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T21:22:07Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T20:41:43Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T20:15:26Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T20:11:14Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T17:59:35Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T17:35:39Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T17:34:34Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-14T17:31:46Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-13T13:17:43Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-13T13:10:15Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-13T13:06:13Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-13T01:45:59Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-13T00:40:59Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-13T00:24:17Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-12T23:29:11Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-12T23:28:39Z

Александр Куваев:

Участник:Александр Куваев/Алгоритм кластеризации, основанный на максимизации ожидания

2016-10-12T14:08:36Z

Александр Куваев: