Алговики - Вклад [ru]

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:45:27Z

Victoria Evstefeeva: /* Существующие реализации алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N - количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|Intel 13.0.1 + impi 5.1.0
|-
|}

Компиляция проводилась с флагом -lm.

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

[[File:256.png]]

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

[[File:8192.png]]

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===
Подобных реализаций алгоритма не найдено.

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:44:31Z

Victoria Evstefeeva: /* Масштабируемость алгоритма и его реализации */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N - количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|Intel 13.0.1 + impi 5.1.0
|-
|}

Компиляция проводилась с флагом -lm.

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

[[File:256.png]]

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

[[File:8192.png]]

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:44:07Z

Victoria Evstefeeva: /* Масштабируемость алгоритма и его реализации */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N - количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|Intel 13.1.0 + impi 5.1.0
|-
|}

Компиляция проводилась с флагом -lm.

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

[[File:256.png]]

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

[[File:8192.png]]

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:39:34Z

Victoria Evstefeeva: /* Масштабируемость алгоритма и его реализации */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N - количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

[[File:256.png]]

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

[[File:8192.png]]

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:38:25Z

Victoria Evstefeeva: /* Масштабируемость алгоритма и его реализации */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N - количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

[[File:256.png]]

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

[[Файл:8192.png]]

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:34:52Z

Victoria Evstefeeva: /* Масштабируемость алгоритма и его реализации */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N - количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

[[Файл:256.png]]

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

[[Файл:8192.png]]

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:30:09Z

Victoria Evstefeeva: /* Входные и выходные данные алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N - количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:29:35Z

Victoria Evstefeeva: /* Входные и выходные данные алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подается число N -количество наблюдений, затем следует ряд из N целых чисел, предполагается, что они взяты из пуассон-трехточечного распределения. Также при запуске программы указывается сколько раз должен выполнится ЕМ алгоритм.

На выходе получаем параметры смеси, 6 вещественных чисел.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:22:36Z

Victoria Evstefeeva: /* Макроструктура алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм с различными начальными приближениями.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:20:30Z

Victoria Evstefeeva: /* Макроструктура алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения N раз применяется ЕМ алгоритм к различным начальным приближениям.

После этого выбираются параметры, у которых функция правдоподобия максимальна.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:18:06Z

Victoria Evstefeeva: /* Вычислительное ядро алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском наилучших параметров с помощью применения ЕМ алгоритма.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется алгоритм, описанный в разделе 1.3.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:14:58Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

Для поиска более точных параметров, ЕМ алгоритм будет запускаться несколько раз с различными начальными приближениями, выбранными случайным образом.

Затем из множества полученных параметров выбираем те, чья функция правдоподобия наибольшая.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с максимизацией функции правдоподобия для поиска параметров пуассон-трехточечного распределения. Это итерационный алгоритм, процесс поиска происходит до тех пор, пока разность функций правдоподобия на предыдущей итерации и на нынешней не станет меньше некоторого заданного наперед числа.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется алгоритм, описанный в разделе 1.3.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T17:04:13Z

Victoria Evstefeeva: /* Макроструктура алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с максимизацией функции правдоподобия для поиска параметров пуассон-трехточечного распределения. Это итерационный алгоритм, процесс поиска происходит до тех пор, пока разность функций правдоподобия на предыдущей итерации и на нынешней не станет меньше некоторого заданного наперед числа.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется алгоритм, описанный в разделе 1.3.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T16:58:04Z

Victoria Evstefeeva: /* Вычислительное ядро алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с максимизацией функции правдоподобия для поиска параметров пуассон-трехточечного распределения. Это итерационный алгоритм, процесс поиска происходит до тех пор, пока разность функций правдоподобия на предыдущей итерации и на нынешней не станет меньше некоторого заданного наперед числа.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T16:57:31Z

Victoria Evstefeeva: /* Вычислительное ядро алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с максимизацией функции правдоподобия для поиска параметров пуассон-трехточечного распределения. Это итерационный алгоритм, процесс поиска происходит до тех пор, пока разность функций правдоподобия на предыдущей итерации и на нынешней не станет меньше некоторого заданного заранее числа.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T16:47:08Z

Victoria Evstefeeva:

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

=== Информационный граф ===

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-07T16:46:37Z

Victoria Evstefeeva:

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T21:13:48Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим также принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T21:12:06Z

Victoria Evstefeeva: /* Информационный граф */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Синяя вершина - вычисление оптимальных параметров на основе максимазации функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T20:59:55Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма на разных итерациях происходит независимо от других, после нулевой процесс вычисляет для каждого процесса функцию правдоподобия и находит оптимальные значения параметров, максимизируя функцию правдоподобия, затем нулевой процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Нулевому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T19:24:51Z

Victoria Evstefeeva: /* Масштабируемость алгоритма и его реализации */

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8192.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T19:08:28Z

Victoria Evstefeeva:

Автор: Виктория Евстефеева
== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:43:13Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:42:57Z

Victoria Evstefeeva: /* Масштабируемость алгоритма и его реализации */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:23:08Z

Victoria Evstefeeva: /* Макроструктура алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то эти параметры смеси запоминаются.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:22:11Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{X_i}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:21:14Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}})</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:20:54Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>.

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}})</math></center>.

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:20:24Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>.

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}), j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:20:01Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>.

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}), j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:18:30Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>.

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, λ, p)=Σ_{i=1}^{n}log(p_1), j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:17:39Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>.

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>L(X, p, λ)=Σ_{i=1}^{n}log(X_ig_{ij}^{(m)}), j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:16:07Z

Victoria Evstefeeva: /* Математическое описание алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>.

Функция правдоподобия для пуассон-трехточечного распределения имеет вид:

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:08:04Z

Victoria Evstefeeva: /* Информационный граф */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[File:Em graph.png]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T18:04:33Z

Victoria Evstefeeva: /* Информационный граф */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: em_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:31:39Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:29:39Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на загрузку данных.

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:21:41Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

Алгоритм перестает масштабироваться, когда время работы параллельной части алгоритма (вычисление параметров) мало по сравнению с накладными расходами MPI и временем, которое расходуется на ...

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

Алгоритм сильно масштабируется. Время выполнения алгоритма сокращается почти в 2 раза с увеличением количества ресурсов в 2 раза.

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:17:03Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|40.402
|-
|2
|20.654
|-
|4
|10.998
|-
|8
|3.541
|-
|16
|3.568
|-
|32
|3.153
|-
|64
|3.690
|-
|128
|6.233
|-
|}

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:12:03Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|479.915
|-
|2
|492.614
|-
|4
|313.172
|-
|8
|170.866
|-
|16
|82.375
|-
|32
|43.812
|-
|64
|22.318
|-
|128
|12.195
|-
|}

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|647.435
|-
|4
|323.948
|-
|8
|162.607
|-
|16
|83.009
|-
|32
|42.897
|-
|64
|23.928
|-
|128
|16.545
|-
|}

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:08:02Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|479.915
|-
|2
|492.614
|-
|4
|313.172
|-
|8
|170.866
|-
|16
|82.375
|-
|32
|43.812
|-
|64
|22.318
|-
|128
|12.195
|-
|}

б) Количество данных - 100000, количество итераций 8196.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|Ломоносов не досчитал, время вышло
|-
|2
|492.614
|-
|4
|313.172
|-
|8
|170.866
|-
|16
|82.375
|-
|32
|43.812
|-
|64
|22.318
|-
|128
|12.195
|-
|}

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:05:04Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|479.915
|-
|2
|492.614
|-
|4
|313.172
|-
|8
|170.866
|-
|16
|82.375
|-
|32
|43.812
|-
|64
|22.318
|-
|128
|12.195
|-
|}

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:04:34Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

a) Количество данных - 100000, количество итераций 256.
{| class="wikitable"
|-
! Число процессов
! Время (с)
|-
|1
|479.915
|-
|2
|492.614
|-
|4
|313.172
|-
|8
|170.866
|-
|16
|82.375
|-
|32
|43.812
|-
|64
|22.318
|-
|128
|12.195
|-
|256
|8.793
|-
|512
|6.954
|-
|1024
|6.741
|-
|}

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:03:16Z

Victoria Evstefeeva: /* Динамические характеристики и эффективность реализации алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
Исследование проводилось на суперкомпьютере "Ломоносов".
{| class="wikitable"
|-
! Компилятор C++
|-
|impi 5.1.0
|-
|}

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:01:34Z

Victoria Evstefeeva: /* Последовательная сложность алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T17:00:10Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T16:59:57Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{k \cdot w \cdot h \cdot}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T16:59:15Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(k \cdot w \cdot h \cdot N_{rays}}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T16:58:04Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{depth_{max}\cdot N_{obj} \cdot N_{lights} \cdot w \cdot h \cdot N_{rays}}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм

EM Алгоритм для пуассон трехточечного распределения

2017-12-03T16:55:42Z

Victoria Evstefeeva: /* Ресурс параллелизма алгоритма */

== Свойства и структура алгоритмов ==

=== Общее описание алгоритма ===

EM-алгоритм (англ. expectation-maximization) - алгоритм итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, алгоритм используется в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости.

Как правило, ЕМ-алгоритм применяется для решения задач двух типов.

• К первому типу можно отнести задачи, связанные с анализом действительно неполных данных, когда некоторые статистические данные отсутствуют в силу каких-либо причин.

• Ко второму типу задач можно отнести статистические задачи, в которых функция правдоподобия имеет вид, не допускающий удобных аналитических методов исследования, но допускающий серьезные упрощения, если в задачу ввести дополнительные «ненаблюдаемые» (скрытые, латентные) переменные. Примерами прикладных задач второго типа являются задачи распознавания образов, реконструкции изображений. Математическую суть данных задач составляют задачи кластерного анализа, классификации и разделения смесей вероятностных распределений.

=== Математическое описание алгоритма ===
Задача отыскания наиболее правдопободных оценок параметров смесей вероятностных распределений является одним из самых популярных приложений ЕМ-алгоритма.

Базовым предположением в рамках данной задачи является то, что плотность наблюдаемой случайной величины <math>Χ</math> имеет вид:

<center><math>f_{θ}^{X}=Σ_{i=1}^{k}p_{i}ψ_{i}(x; t_{i}),</math></center>

где <math>k\geqslant 1</math> - известное натуральное число, <math>ψ_{1}, ..., ψ_{k}</math> - известные плотности распределения, неизвестный параметр <math>θ</math> имеет вид <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> причем <math>p_{i}\geqslant 0,</math> <math>i = 1, ..., k,</math> <math> p_{1}+...+p_{k}=1,</math> <math>t_{i},</math> <math> i=1,...,k,</math> - вообще говоря, многомерные параметры. Плотности <math>ψ_{1}, ..., ψ_{k}</math> будем называть компонентами смеси, параметры <math>p_{1}, ..., p_{k}</math> будем называть весами соответствующих компонент.

Задачей разделения смеси принято называть задачу статистического оценивания параметров <math>θ=(p_{1}, ..., p_{k}, t_{1},..., t_{k}),</math> по известным реализациям случайно величины <math>Χ</math>.
Оценивание параметров смешанных пуассоновских моделей сводится к оцениванию смешивающего распределения. Традиционно с этой целью используется классический ЕМ алгоритм. В случае Пуассон трехточечного распределения случайной величины <math>Χ</math> функция плотности относительно считающей меры имеет вид:

<center><math>f_{λ, p}^{X}=Σ_{i=1}^{k}p_{i}\frac{λ_{i}^{x}e^{-λ_{i}}}{x!},</math></center>

где <math>λ</math> - трехточечная случайная величина, то есть принимает значения <math>λ_{1}, λ_{2}, λ_{3}</math> с вероятностями <math>p_{1}, p_{2}, p_{3}</math> соответственно.

Итерационный ЕМ-алгоритм для оценивания неизвестных параметров <math>p_1,p_2,p_3,λ1,λ_2,λ_3</math> определяется следующим образом.
Дана выборка <math>X_1, ..., X_n</math> независимых одинаково распределенных случайных величин таких, что

<center><math>P(X_i = k)=\frac{1}{k!}Σ_{j=1}^{3}p_{j}λ_{j}^{k}e^{-λ_{j}}, k = 0,1,2,...,</math></center>
где <math>p_j \geqslant 0, λ_j > 0, j = \{1, 2, 3\}</math> - неизвестные параметры, <math>p_1+p_2+p_3=1</math>

Пусть <math>p^{(m)}_1, p^{(m)}_2 , p^{(m)}_3, λ_1^{(m)}, λ_2^{(m)}, λ_3^{(m)}</math> – оценки этих параметров, полученные на <math>m</math>-й итерации.

Таким образом ЕМ алгоритм для случая пуассон-трехточечного распределения состоит из следующих шагов:

1 шаг алгоритма - вычисление условного математического ожидания:

<center><math>g_{ij}^{(m)} = \frac{p_j^{(m)}e^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}{Σ_{j=1}^{3}p_je^{-λ_j^{(m)}}(λ_j^{(m)})^{X_i}}, i=1,..., n</math></center>

2 шаг алгоритма - оценивание неизвестных параметров:

<center><math>p_j^{(m+1)}=\frac{1}{n}Σ_{i=1}^{n}g_{ij}^{(m)}, j = \{1, 2, 3\}</math></center>

<center><math>λ_j^{(m+1)}=\frac{Σ_{i=1}^{n}X_ig_{ij}^{(m)}}{Σ_{i=1}^{n}g_{ij}^{(m)}}, j = \{1, 2, 3\}</math></center>

=== Вычислительное ядро алгоритма ===
Основные вычисления связаны с поиском параметров пуассон-трехточечного распределения.

=== Макроструктура алгоритма ===
К исходным данным из пуассон-трехточечного распределения применяется ЕМ алгоритм для разделения смеси.

Проводится несколько итераций запуска ЕМ алгоритма на данных.

После каждой итерации получаем параметры распределения. Считаем функцию правдоподобия.

Если ее значение больше, чем в другой итерации, то параметры смеси заменяются на новые.

=== Схема реализации последовательного алгоритма ===
Здесь приведены основные моменты алгоритма.
<source lang="c++">
// Плотность пуассоновского распределения
double poisson_pdf(int x, double lambda_)
{
return pow(lambda_,x) * exp(-lambda_) / factorial(x);
}

// Функция правдоподобия для пуассон-трехточечного распределения
double likelihood(vector<int> &X, double *lambda_, double *p)
{
double summation = 0.0;
for (int n = 0, length_ext = X.size(); n < length_ext; ++n)
{
double temp = 0.0;
for (int k = 0; k < 3; ++k)
temp += p[k] * poisson_pdf(X[n], lambda_[k]);
summation += log(temp);
}

return summation;
}
</source>
<source lang="c++">
//Вычисление начального приближения для EM алгоритма
double p[3], lambda_[3];
double minim = -100000.0;
double sum = 0.0;

for (int i = 0; i < K; ++i)
{

p[i] = rand() % 13371337 + 1;
sum += p[i];
}

for (int i = 0; i < K; ++i)
p[i] /= sum;

for (int i = 0; i < K; ++i)
{
sum = 0.0;
int j, l = 0;
if (i == 0)
j = 0;
else
j = int(N*p[i-1]);
for (int q = j; q < int(N*p[i]); ++q)
sum += X[q];
l += 1;
lambda_[i] = sum/l;
}

double likely = likelihood(X, lambda_, p);
double like = minim;
if (likely > minim)
like = likely;
</source>
<source lang="c++">
// ЕМ алгоритм
while (1)
{
//E-шаг
for (int i = 0; i < N; ++i)
{
double denominator = 0.0;
for (int j = 0; j < K; ++j)
denominator += p[j] * poisson_pdf(X[i], lambda_[j]);
for (int k = 0; k < K; ++k)
gamma[i][k] = p[k] * poisson_pdf(X[i], lambda_[k]) / denominator;
}

//M-шаг
for (int k = 0; k < K; ++k)
{
double Nk = 0.0;
for (int n = 0; n < N; ++n)
Nk += gamma[n][k];

//Вычисляем среднее
lambda_[k] = 0.0;
for (int n = 0; n < N; ++n)
lambda_[k] += gamma[n][k] * X[n];
lambda_[k] /= Nk;

//Вычисляем коэффициенты смешивания
p[k] = Nk / N;
}

double new_like = likelihood(X, lambda_, p);
double diff = new_like - like;
if (isnan(diff))
break;
if (abs(diff) < 0.0000000001)
break;
like = new_like;
}
</source>

=== Последовательная сложность алгоритма ===
== Последовательная сложность алгоритма ==
Вычислим последовательную сложность алгоритма, основываясь на начальных данных и количестве повторов итераций запуска ЕМ алгоритма.

<math>w</math> - количество итераций запуска ЕМ алгоритма

<math>h</math> - количество данных

На каждой итерации ищутся параметры смеси: <math>k\cdot O(h)</math>, где <math>k</math> - некоторая константа, которая зависит от начального приближения параметров и влияет на скорость сходимости ЕМ алгоритма, для каждой итерации может быть разной.

В итоге получаем <math>O(k \cdot w \cdot h)</math> операций.

== Информационный граф ==

[[file: Raytracer_graph.png|400px]]

Зеленые вершины - вычисление параметров ЕМ алгоритма. 
Желтые вершины - вычисление функции правдоподобия.

=== Ресурс параллелизма алгоритма ===

Из информационного графа видно, что вычисление параметров ЕМ алгоритма и функции правдоподобия на разных итерациях происходит независимо от других, затем они завершаются и первый процесс записывает результат в файл. Пусть <math>N_p \geqslant 2</math> - количество процессов. Всем процессам, кроме первого поручим выполнить часть итераций запуска ЕМ алгоритма (каждый процесс выполнит <math>\Big[\frac{w \cdot h}{N_p - 1}\Big] </math> итераций). Первому процессу поручим принять работу и записать результат в файл.

Время работы: <math>O\Big(\frac{depth_{max}\cdot N_{obj} \cdot N_{lights} \cdot w \cdot h \cdot N_{rays}}{N_p}\Big)</math>.

=== Входные и выходные данные алгоритма ===
На вход алгоритму подаются данные из пуассон-трехточечного распределения.

На выходе получаем параметры смеси.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

== Литература ==

↑ В.Ю. Королев "Вероятностно-статистические методы декомпозиции волатильности хаотических процессов".

↑ В. Ю. Королев, А. Ю. Корчагин, А. И. Зейфман "Теорема Пуассона для схемы испытаний Бернулли со случайной вероятностью успеха и дискретный аналог распределения Вейбулла".

↑ http://www.machinelearning.ru/wiki/index.php?title=EM-алгоритм